Meta dan Qualcomm bekerja sama untuk menjalankan model AI besar di ponsel

Qualcomm dan Meta mengaktifkan model bahasa besar baru perusahaan jejaring sosial, Llama 2, untuk berjalan di chip Qualcomm pada ponsel dan PC mulai tahun 2024, perusahaan mengumumkan hari ini.

Sejauh ini, LLM sebagian besar dijalankan di kumpulan server besar, pada prosesor grafis Nvidia, karena daya komputasi dan kebutuhan data yang sangat besar dari teknologi tersebut, yang telah meningkatkan stok Nvidia, yang telah meningkat lebih dari 220% tahun ini. Tetapi ledakan AI sebagian besar telah dilewatkan oleh perusahaan yang membuat prosesor terkemuka untuk ponsel dan komputer, seperti Qualcomm. Sahamnya naik sekitar 10% sejauh ini di tahun 2023, mengikuti kenaikan 36% Nasdaq.

Pengumuman hari Selasa menunjukkan bahwa Qualcomm ingin memposisikan prosesornya sesuai untuk AI tetapi “di tepi” atau di perangkat, daripada “di cloud”. Jika model bahasa besar dapat dijalankan di ponsel daripada di pusat data besar, ini dapat secara signifikan menurunkan biaya menjalankan model AI, dan dapat menghasilkan asisten suara dan aplikasi lain yang lebih baik dan lebih cepat.

Qualcomm akan membuat model open-source Llama 2 Meta tersedia di perangkat Qualcomm, yang diyakini akan memungkinkan aplikasi seperti asisten virtual cerdas. Meta Llama 2 dapat melakukan banyak hal yang sama seperti ChatGPT, tetapi dapat dikemas menjadi perangkat lunak yang lebih kecil, memungkinkannya berjalan di ponsel.

Chip Qualcomm menyertakan “unit prosesor tensor”, atau TPU, yang sangat cocok untuk jenis komputasi yang diperlukan oleh model AI. Namun, jumlah daya pemrosesan yang tersedia di perangkat seluler tidak seberapa jika dibandingkan dengan pusat data yang dilengkapi dengan GPU terbaru.

Meta llama terkenal karena Meta telah menerbitkan “bobot”, yang merupakan kumpulan angka yang membantu mengontrol cara kerja model AI tertentu. Melakukan hal itu akan memungkinkan para peneliti dan akhirnya organisasi komersial untuk menggunakan model AI di komputer mereka sendiri tanpa meminta izin atau pembayaran. LLM terkenal lainnya, seperti GPT-4 OpenAI, atau Google Bard, adalah sumber tertutup, dan bobotnya dirahasiakan.

Qualcomm telah bekerja sama dengan Meta di masa lalu, terutama pada chip perangkat keras realitas virtual Quest-nya. Itu juga memamerkan beberapa model AI yang berjalan lambat pada chipnya, seperti generator gambar open source Stable Diffusion.