Microsoft akhirnya membuat chip khusus, semuanya berpusat pada AI

Rumornya benar: Microsoft telah membangun chip AI khusus yang dapat digunakan untuk melatih model bahasa besar dan berpotensi menghindari ketergantungan yang mahal pada Nvidia. Microsoft juga telah membangun CPU berbasis Arm sendiri untuk beban kerja cloud. Kedua chip khusus tersebut dirancang untuk mendukung pusat data Azure dan mempersiapkan perusahaan serta pelanggan perusahaannya menghadapi masa depan yang dipenuhi AI.

Chip Microsoft Azure Maia AI dan CPU Azure Cobalt yang didukung Arm akan hadir pada tahun 2024, seiring dengan meningkatnya permintaan tahun ini untuk GPU Nvidia H100 yang banyak digunakan untuk melatih dan menjalankan alat gambar generatif dan model bahasa besar. GPU ini banyak diminati dan bahkan ada yang membawanya masuk Lebih dari $40.000 di eBay.

“Microsoft sebenarnya memiliki sejarah panjang dalam pengembangan silikon,” jelas Rani Borkar, kepala sistem perangkat keras dan infrastruktur Azure di Microsoft, dalam sebuah wawancara. tepi. Microsoft telah berkolaborasi dalam pembuatan silikon untuk Xbox selama lebih dari 20 tahun, dan juga merancang chip untuk perangkat Surface. “Upaya ini didasarkan pada pengalaman tersebut,” kata Burkar. “Pada tahun 2017, kami mulai merancang portofolio perangkat keras cloud dan memulai perjalanan tersebut untuk menempatkan kami pada jalur yang tepat dalam membangun chip khusus baru kami.”

Chip Azure Maia AI baru dan CPU Azure Cobalt dibuat secara internal di Microsoft, serta perombakan seluruh tumpukan server cloud untuk meningkatkan kinerja, daya, dan biaya. “Kami memikirkan kembali infrastruktur cloud untuk era AI, dan kami benar-benar mengoptimalkan setiap lapisan infrastruktur tersebut,” kata Burkar.

CPU Azure Cobalt, dinamai berdasarkan warna birunya, adalah chip 128 inti yang dibuat berdasarkan desain Arm Neoverse CSS dan dibuat khusus oleh Microsoft. Ini dirancang untuk menjalankan layanan cloud publik di Azure. “Kami menaruh banyak pemikiran untuk tidak hanya menjadikannya berkinerja tinggi, namun juga memastikan kami menjaga manajemen energi,” jelas Borkar. “Kami membuat beberapa pilihan desain yang sangat disengaja, termasuk kemampuan untuk mengontrol kinerja dan konsumsi daya per inti dan pada setiap VM.”

Microsoft saat ini sedang menguji CPU Cobalt pada beban kerja seperti Microsoft Teams dan server SQL, dengan rencana untuk membuat mesin virtual tersedia bagi pelanggan tahun depan untuk berbagai beban kerja. Meskipun Borkar tidak akan membuat perbandingan langsung dengan server Graviton 3 Amazon yang tersedia di AWS, seharusnya ada peningkatan kinerja yang nyata dibandingkan server berbasis Arm yang saat ini digunakan Microsoft untuk Azure. “Pengujian awal kami menunjukkan bahwa kinerja kami hingga 40 persen lebih baik daripada apa yang saat ini terlihat di pusat data kami yang menggunakan server Arm komersial,” kata Burkar. Microsoft belum membagikan spesifikasi atau tolok ukur sistem secara lengkap.

Akselerator AI Maia 100 Microsoft, dinamai berdasarkan bintang biru terang, dirancang untuk mendukung beban kerja cloud AI, seperti melatih model bahasa besar dan inferensi. Ini akan digunakan untuk menjalankan beberapa beban kerja AI terbesar perusahaan di Azure, termasuk bagian dari kemitraan bernilai miliaran dolar dengan OpenAI tempat Microsoft menjalankan semua beban kerja OpenAI-nya. Raksasa perangkat lunak ini berkolaborasi dengan OpenAI dalam tahap desain dan pengujian Maia.

“Kami sangat gembira ketika Microsoft pertama kali membagikan desainnya untuk chip Maia, dan kami bekerja sama untuk meningkatkan dan mengujinya dengan model kami,” kata Sam Altman, CEO OpenAI. “Arsitektur AI end-to-end Azure, yang kini dioptimalkan hingga silikon dengan Maia, membuka jalan untuk melatih model yang lebih mumpuni dan menjadikan model tersebut lebih murah bagi pelanggan kami.”

Diproduksi menggunakan proses 5 nanometer TSMC, Maia memiliki 105 miliar transistor — sekitar 30 persen lebih sedikit dibandingkan 153 miliar yang dimiliki pesaing AMD Nvidia, yaitu Prosesor grafis AI MI300X. “Maia mendukung implementasi pertama kami pada subtipe 8-bit, tipe data MX, untuk merancang bersama perangkat keras dan perangkat lunak,” kata Burkar. “Ini membantu kami mendukung pelatihan model dan waktu inferensi yang lebih cepat.”

Microsoft adalah bagian dari grup termasuk AMD, Arm, Intel, Meta, Nvidia, dan Qualcomm yang berupaya untuk menstandardisasi format data generasi berikutnya untuk model AI. Microsoft mengandalkan kerja kolaboratif dan terbuka Proyek Komputasi Terbuka (OCP) Untuk menyesuaikan seluruh sistem dengan kebutuhan kecerdasan buatan.

“Maia adalah prosesor server berpendingin cairan pertama dari Microsoft,” ungkap Borkar. “Tujuannya di sini adalah untuk memungkinkan kepadatan server yang lebih tinggi dengan efisiensi yang lebih besar. Saat kami menata ulang seluruh tumpukan, kami sengaja memikirkan setiap lapisan, sehingga sistem ini akan benar-benar sesuai dengan jejak pusat data kami yang ada.

Ini adalah kunci bagi Microsoft untuk menjalankan server AI ini dengan lebih cepat tanpa harus menyediakan ruang bagi server tersebut di pusat data di seluruh dunia. Microsoft telah membangun rak unik untuk menempatkan papan server Maia, dengan “pemegang” pendingin cair yang berfungsi seperti pendingin yang Anda temukan di mobil atau PC gaming mewah untuk mendinginkan permukaan chip Maia.

Selain berbagi tipe data MX, Microsoft juga membagikan desain raknya dengan mitranya sehingga mereka dapat menggunakannya pada sistem yang memiliki chip silikon lain di dalamnya. Namun desain chip Maia tidak akan dibagikan secara lebih luas, karena Microsoft menyimpannya sendiri.

Maia 100 saat ini sedang diuji pada GPT 3.5 Turbo, model yang sama yang menjalankan beban kerja ChatGPT, Bing AI, dan GitHub Copilot. Microsoft masih dalam tahap awal penerapan, dan seperti Cobalt, belum siap merilis spesifikasi atau tolok ukur kinerja Maia yang tepat.

Hal ini membuat sulit untuk menguraikan secara tepat bagaimana Maia dibandingkan dengan GPU H100 Nvidia yang populer, H200 yang baru-baru ini diumumkan, atau bahkan rilis terbaru AMD. MI300X. Borkar tidak ingin membahas perbandingan, namun menegaskan kembali bahwa kemitraan dengan Nvidia dan AMD tetap menjadi kunci bagi masa depan cloud Azure AI. “Pada skala operasional cloud, sangat penting untuk mengoptimalkan dan mengintegrasikan setiap lapisan tumpukan, untuk memaksimalkan kinerja, mendiversifikasi rantai pasokan, dan memberikan pilihan infrastruktur kepada pelanggan kami,” kata Burkar.

Diversifikasi rantai pasokan penting bagi Microsoft, terutama karena Nvidia adalah pemasok utama chip server AI saat ini dan banyak perusahaan berlomba-lomba untuk membeli chip tersebut. Perkiraan Anda punya saran OpenAI membutuhkan lebih dari 30.000 GPU A100 lama Nvidia untuk memasarkan ChatGPT, sehingga chip Microsoft sendiri dapat membantu menurunkan biaya AI bagi pelanggannya. Microsoft juga mengembangkan chip ini untuk beban kerja cloud Azure miliknya sendiri, bukan untuk dijual ke pihak lain seperti Nvidia, AMD, Intel, dan Qualcomm.

“Saya melihat ini sebagai pelengkap bagi mereka, bukan pesaing,” tegas Burkar. “Kami memiliki Intel dan AMD dalam komputasi awan kami saat ini, dan begitu pula dalam bidang AI, kami mengumumkan AMD, di mana kami sudah memiliki Nvidia saat ini. Mitra-mitra ini sangat penting bagi infrastruktur kami, dan kami benar-benar ingin memberikan pilihan kepada pelanggan kami.”

Anda mungkin telah memperhatikan nama Maia 100 dan Cobalt 100, yang menunjukkan bahwa Microsoft telah merancang versi generasi kedua dari chip ini. “Ini adalah sebuah serial, bukan hanya 100 episode… tapi kami tidak akan membagikan peta jalan kami,” kata Burkar. Belum jelas seberapa sering Microsoft akan memperkenalkan versi baru Maia dan Cobalt, namun mengingat kecepatan AI, saya tidak akan terkejut melihat penerus Maia 100 hadir dengan kecepatan yang sama dengan pengumuman Nvidia H200 (sekitar 20 bulan). ).

Kuncinya sekarang adalah seberapa cepat Microsoft mengaktifkan Maia untuk mempercepat penerapan ambisi AI yang luas, dan bagaimana chip ini akan berdampak pada harga penggunaan layanan cloud AI. Microsoft belum siap untuk membicarakan harga server baru ini, namun kita telah melihat perusahaan tersebut secara diam-diam meluncurkan Copilot untuk Microsoft 365 dengan premi $30 per bulan per pengguna.

Copilot untuk Microsoft 365 terbatas hanya untuk pelanggan terbesar Microsoft saat ini, dengan pengguna perusahaan harus berkomitmen untuk setidaknya 300 pengguna agar bisa masuk dalam daftar asisten Office baru yang didukung AI. Saat Microsoft bergerak maju dengan meluncurkan lebih banyak fitur Copilot minggu ini dan melakukan rebranding Bing Chat, Maia dapat segera membantu menyeimbangkan permintaan akan chip AI yang mendukung pengalaman baru ini.