Startup LLM senilai $1 miliar Kai-Fu Lee memperkenalkan model sumber terbuka

Kai-Fu Lee, ilmuwan komputer yang terkenal di Barat karena buku terlarisnya Kekuatan super AI Dan di Tiongkok, yang bertaruh pada unicorn dengan kecerdasan buatan, ia memiliki proyek baru – dan ambisi besar.

Pada akhir Maret, Lee meluncurkan sebuah perusahaan bernama… 01.AI Dengan visi untuk mengembangkan model bahasa lokal yang besar untuk pasar Tiongkok. Proyek ini menempatkannya dalam persaingan dengan para pemimpin teknologi terkemuka Tiongkok lainnya, termasuk pendiri Sogou Wang Xiaochuan, yang dengan cepat mengumpulkan bakat dan modal ventura untuk menciptakan OpenAI yang setara dengan Tiongkok.

“Saya pikir kebutuhan adalah ibu dari inovasi, dan jelas ada kebutuhan yang sangat besar di Tiongkok,” kata Li kepada TechCrunch dalam sebuah wawancara, menjelaskan motivasi di balik dimulainya 01.AI. “Tidak seperti negara-negara lain di dunia, Tiongkok tidak memiliki akses ke OpenAI dan Google karena kedua perusahaan tersebut belum menyediakan produk mereka di Tiongkok, jadi menurut saya banyak MBA yang berupaya melakukan bagian mereka dalam menemukan solusi bagi pasar. .Ini benar-benar membutuhkan ini.”

01.Pertumbuhan kecerdasan buatan merupakan cerminan yang tepat dari pesatnya perkembangan di bidang kecerdasan buatan generatif. Tujuh bulan setelah didirikan, startup ini merilis prototipe pertamanya yang bersifat open source KAMU-34B. Keputusan untuk menawarkan LLM terbuka sebagai produk pertamanya adalah cara untuk “memberi kembali” kepada komunitas, kata Lee. Bagi orang-orang yang merasa LLaMA adalah “anugerah” bagi mereka, “kami telah memberi mereka alternatif yang menarik,” tambahnya.

Pada saat penulisan, Yi-34B, model dasar bilingual (Inggris dan Cina) telah dilatih dengan 34 miliar parameter dan jauh lebih kecil dibandingkan model terbuka lainnya seperti Falcon-180B dan Meta LlaMa2-70B. Ini menempati peringkat pertama di antara model LLM terlatih, Menurut klasifikasi Memeluk Wajah.

“Kami masih percaya bahwa model yang lebih besar, jika dilatih dengan baik, pada sejumlah besar data berkualitas tinggi, akan selalu mengungguli model yang lebih kecil dengan kualitas dan teknologi serupa, jadi menurut saya [Yi-34B] “Mengungguli model yang lebih besar adalah sesuatu yang biasanya tidak kita lihat,” kata Lee. “Kami merasa sangat yakin bahwa kami telah merilis model senilai $100 miliar hingga $400 miliar selama satu atau setengah tahun ke depan, dan model tersebut akan jauh lebih baik daripada model yang kami umumkan saat ini.”

Kemampuan startup untuk memulai pelatihan modular dengan cepat tidak diragukan lagi merupakan hasil dari penggalangan dana yang lancar, yang sangat penting untuk mendapatkan talenta papan atas dan ahli AI. Meskipun dia menolak untuk mengungkapkan jumlah yang dikumpulkan oleh 01.AI, Li mengatakan bahwa dana tersebut bernilai $1 miliar setelah menerima pendanaan dari Sinovation Ventures, Alibaba Cloud, dan investor lain yang dirahasiakan.

01.AI telah berkembang menjadi lebih dari 100 karyawan, lebih dari setengahnya adalah pakar LLM dari perusahaan teknologi multinasional besar dan Tiongkok. Wakil presiden teknologinya, misalnya, adalah anggota awal Google Bard, dan kepala teknisinya adalah anggota pendiri TensorFlow dan bekerja bersama peneliti terkenal seperti Jeff Dean dan Samy Bengio di Google Brain. Tokoh kunci di balik Yi-34B adalah Wenhao Huang, seorang veteran Microsoft Research di Asia, dan Ethan Dai, yang memegang posisi senior AI di Huawei dan Alibaba.

Setelah mendukung lebih dari selusin unicorn dan membangun tujuh perusahaan melalui Sinovation Ventures, Lee mungkin adalah salah satu investor dan wirausahawan yang paling memiliki koneksi baik di Tiongkok.

“Sudah lebih dari 25 tahun sejak Microsoft Research Asia didirikan, dan semua yang saya lakukan adalah mencari talenta-talenta hebat,” kata Lee, yang meluncurkan Microsoft Research Asia, pusat penelitian luar negeri terbesar milik raksasa Amerika itu. Sebelum menuju ke Google China. Selama bertahun-tahun, Microsoft Research Asia telah mendapatkan reputasi sebagai “West Point” dalam membina wirausahawan AI di Tiongkok.

“Sekarang, tentu saja, Anda ingin membayar orang dengan adil, dan Anda harus kompetitif dalam hal gaji, tapi menurut saya ini juga tentang orang-orang yang percaya bahwa mereka bisa membuat perbedaan dan percaya bahwa perusahaan bisa sukses,” tambah Lee.

Bukan rahasia lagi bahwa membangun LLM adalah usaha yang mahal. Untuk mempertahankan operasinya yang padat uang, 01.AI memiliki rencana monetisasi sejak awal. Meskipun perusahaan akan terus menjadikan beberapa modelnya sebagai sumber terbuka, tujuannya adalah untuk membangun model kepemilikan mutakhir yang akan menjadi dasar bagi berbagai produk komersial.

“Kami “Anda tidak bisa melakukan semuanya secara open source,” katanya kepada saya. “Kami sangat menyadari fakta bahwa model bahasa besar ini memerlukan banyak komputasi dan oleh karena itu mahal. Saat kami mengumpulkan banyak uang, sebagian besar akan dihabiskan untuk GPU. Oleh karena itu, pertama-tama kami perlu mendapatkan sebagai GPU sebanyak mungkin Yang kami lakukan.

Seperti pemain LLM lainnya di Tiongkok, 01.AI telah secara proaktif menimbun GPU untuk mengantisipasi sanksi AS; Anda meminjam uang untuk membeli prosesor bahkan sebelum Anda mendapat pembiayaan. Selama setahun terakhir, pemerintahan Biden telah memperketat pembatasan akses Tiongkok terhadap chip AI yang canggih. Hal ini mendorong perusahaan-perusahaan Tiongkok untuk membayar harga chip yang melambung. Pandangan ke depan telah membuahkan hasil, karena 01.AI kini memiliki persediaan yang cukup Setidaknya untuk 12-18 bulan ke depan.

Selain menyusahkan perusahaan-perusahaan Tiongkok, sanksi AS telah menjadi katalis bagi inovasi dengan mendorong mereka memanfaatkan daya komputasi secara optimal. “Dengan tim infrastruktur berkualitas tinggi, untuk setiap 1.000 GPU, kami mungkin dapat menghasilkan 2.000 GPU dari jumlah tersebut,” kata Lee.

01. Jalur AI menuju monetisasi sangat bergantung pada kemampuannya menemukan pasar produk yang cocok untuk model AI yang mahal. Meskipun sarjana LLM yang berprestasi langka, tidak ada kekurangan talenta produktif di Tiongkok.

“Tiongkok tidak lebih unggul dari Amerika Serikat dalam bidang MBA, namun tidak ada keraguan bahwa Tiongkok mampu membangun aplikasi yang lebih baik dibandingkan pengembang Amerika, sebagian besar disebabkan oleh ekosistem Internet seluler yang sangat besar yang telah dibangun selama bertahun-tahun,” kata Li. . “12 tahun terakhir ini.”

Meskipun sang pendiri tidak memberikan rincian apa pun tentang layanan yang sedang direncanakan, ia mengisyaratkan bahwa perusahaan tersebut sedang bereksperimen dengan konsep produktivitas dan tren sosial, dan bahwa ia akan “kecewa” jika 01.AI tidak merilis aplikasi. dalam kalender ini. tahun.

Tujuan utama startup ini, menurut Lee, adalah menjadi ekosistem di mana pengembang eksternal dapat dengan mudah membuat aplikasi. “Tugasnya bukan hanya mempublikasikan model penelitian yang baik, tapi yang lebih penting adalah memudahkan pengembangan aplikasi sehingga ada aplikasi yang menarik,” ujarnya. “Pada akhirnya. Ini adalah permainan ekosistem. Waktu akan membuktikan apakah upaya AI Lee akan membuahkan hasil.