OpenAI berjanji untuk mencurahkan 20% daya komputasinya untuk memerangi jenis AI yang paling berbahaya, namun hal itu tidak pernah berhasil

Kini, kurang dari setahun kemudian, tim tersebut, yang disebut Superalignment, telah dibubarkan di tengah pengunduran diri karyawan dan tuduhan bahwa OpenAI memprioritaskan peluncuran produk daripada keselamatan AI. Menurut enam sumber yang mengetahui pekerjaan tim OpenAI Superalignment, OpenAI tidak pernah memenuhi komitmennya untuk menyediakan 20% daya komputasi kepada tim tersebut.

Sebaliknya, menurut sumber, tim berulang kali melihat permintaan akses ke unit pemrosesan grafis, chip komputer khusus yang diperlukan untuk melatih dan menjalankan aplikasi AI, ditolak oleh pimpinan OpenAI, meskipun anggaran komputasi tim secara keseluruhan tidak pernah mendekati jumlah yang diminta. Ambang batas 20% dijanjikan.

Pengungkapan ini menimbulkan pertanyaan tentang seberapa serius OpenAI menepati janji publiknya, dan apakah komitmen publik lainnya yang dibuat perusahaan dapat dipercaya. OpenAI tidak menanggapi permintaan komentar mengenai cerita ini.

Perusahaan tersebut saat ini menghadapi reaksi keras atas penggunaan suara dalam fitur pembuatan ucapan berbasis AI yang sangat mirip dengan aktris Scarlett Johansson. Dalam hal ini, muncul pertanyaan mengenai kredibilitas pernyataan publik OpenAI bahwa kesamaan antara suara AI yang disebutnya “Sky” dan suara Johansson adalah murni kebetulan. Johansson mengatakan Sam Altman, salah satu pendiri dan CEO OpenAI, menghubunginya pada bulan September lalu, ketika suara Sky debut, dan meminta izin untuk menggunakan suaranya. Saya menolak. Dia mengatakan Altman meminta izin lagi untuk menggunakan suaranya minggu lalu, tepat sebelum demonstrasi model GPT-4o terbaru, yang menggunakan suara Sky. OpenAI membantah menggunakan suara Johansson tanpa izinnya, dan mengatakan bahwa mereka membayar aktris profesional, yang menurut mereka tidak dapat diungkapkan secara hukum, untuk menciptakan Sky. Namun klaim Johansson kini menimbulkan keraguan mengenai hal ini, dengan beberapa orang berspekulasi di media sosial bahwa OpenAI sebenarnya mengkloning suara Johansson atau mungkin mencampurkan suara aktris lain dengan suara Johansson untuk menciptakan Sky.

Tim OpenAI Superalignment dibentuk di bawah kepemimpinan Ilya Sutskever, salah satu pendiri OpenAI dan mantan kepala ilmuwan, yang kepergiannya dari perusahaan diumumkan minggu lalu. Jan Laecke, peneliti lama di OpenAI, ikut memimpin tim. Dia mengumumkan pengunduran dirinya pada hari Jumat, dua hari setelah kepergian Sutskever. Perusahaan kemudian menginformasikan kepada sisa karyawan tim yang berjumlah sekitar 25 orang bahwa tim tersebut dibubarkan dan mereka akan dipindahkan ke dalam perusahaan.

Hal ini merupakan kehancuran besar bagi tim yang pekerjaannya kurang dari setahun yang lalu dianggap penting oleh OpenAI bagi perusahaan dan penting bagi masa depan peradaban. Superintelligence adalah gagasan tentang sistem kecerdasan buatan hipotetis masa depan yang akan lebih pintar dari gabungan semua manusia. Ini adalah teknologi yang melampaui tujuan perusahaan untuk menciptakan kecerdasan umum buatan, atau AGI – sistem AI tunggal yang secerdas manusia.

Superintelijen, Inc Ucapnya saat mengumumkan timHal ini dapat menimbulkan ancaman nyata terhadap kemanusiaan dengan berupaya membunuh atau memperbudak orang. “Kami tidak memiliki solusi untuk memandu dan mengendalikan AI yang berpotensi menjadi super cerdas, dan mencegahnya menjadi jahat,” kata OpenAI dalam pengumumannya. Tim Superalignment seharusnya meneliti solusi ini.

Ini adalah misi yang sangat penting sehingga perusahaan mengatakan dalam pengumumannya bahwa mereka akan mencurahkan “20% dari komputasi yang kami peroleh sejauh ini selama empat tahun ke depan” untuk upaya tersebut.

Namun enam sumber yang mengetahui pekerjaan tim Superalignment mengatakan bahwa komputasi semacam itu tidak pernah ditugaskan ke grup tersebut. Sebaliknya, mereka menerima jumlah yang jauh lebih rendah dibandingkan anggaran alokasi komputasi normal perusahaan, yang dievaluasi ulang setiap tiga bulan.

Belum ada metrik yang jelas tentang cara menghitung 20% ​​secara pasti, sehingga terbuka untuk interpretasi yang luas, kata salah satu sumber yang mengetahui pekerjaan tim Superalignment. Misalnya, sumber tersebut mengatakan bahwa tim tersebut tidak pernah diberitahu apakah janji tersebut berarti “20% per tahun selama empat tahun”, “5% per tahun selama empat tahun”, atau jumlah variabel yang dapat berakhir menjadi “1% atau 2% .” % selama empat tahun” pada tiga tahun pertama, kemudian sebagian besar komitmen pada tahun keempat. Bagaimanapun, semua sumber keberuntungan Kisah ini mengonfirmasi bahwa tim Superalignment tidak pernah memiliki komputasi aman yang mendekati 20% untuk OpenAI pada Juli 2023.

Peneliti OpenAI juga dapat mengajukan permintaan untuk apa yang dikenal sebagai komputasi “elastis” – akses ke kapasitas GPU tambahan melebihi apa yang dianggarkan – untuk menangani proyek-proyek baru di antara pertemuan anggaran triwulanan. Namun sumber-sumber ini mengatakan bahwa permintaan fleksibel dari tim Superalignment sering kali ditolak oleh para pejabat senior.

Bob McGraw, wakil presiden penelitian di OpenAI, adalah eksekutif yang memberi tahu tim tentang penolakan permintaan ini, namun pihak lain di perusahaan, termasuk CTO Mira Moratti, terlibat dalam pengambilan keputusan, kata sumber tersebut. Baik McGraw maupun Moratti tidak menanggapi permintaan komentar untuk cerita ini.

Saat tim melakukan penelitian, penelitian itu dirilis kertas Merinci pengalamannya dalam berhasil mendapatkan model AI yang kurang kuat untuk mengendalikan model yang lebih kuat pada bulan Desember 2023, sumber tersebut mengatakan, kurangnya komputasi menggagalkan ide-ide tim yang lebih ambisius.

Setelah pengunduran dirinya, Lyke pada hari Jumat membuat serangkaian postingan di X (sebelumnya Twitter) di mana dia mengkritik mantan perusahaannya, dengan mengatakan: “Budaya dan proses keselamatan telah tertinggal dari produk-produk brilian.” Dia juga berkata: “Selama beberapa bulan terakhir, tim saya berlayar melawan angin. Terkadang kami kesulitan menghitung dan menyelesaikan penelitian penting ini menjadi semakin sulit.

Lima sumber yang mengetahui pekerjaan tim Superalignment mendukung pernyataan Leike, mengatakan bahwa masalah akses komputasi memburuk setelah perselisihan sebelum Thanksgiving antara Altman dan dewan direksi organisasi nirlaba OpenAI.

Sutskever, yang merupakan anggota dewan, telah memilih untuk memecat Altman dan merupakan orang yang dipilih oleh dewan untuk memberi tahu Altman tentang berita tersebut. Ketika karyawan OpenAI memberontak sebagai tanggapan atas keputusan tersebut, Sutskever kemudian memposting di X bahwa dia “sangat menyesali” keterlibatannya dalam pemecatan Altman. Pada akhirnya, Altman diangkat kembali, dan Sutskever serta beberapa anggota dewan lainnya yang terlibat dalam pemecatannya mengundurkan diri dari dewan. Sutskever tidak pernah kembali bekerja di OpenAI setelah Altman dipekerjakan kembali, namun dia baru secara resmi meninggalkan perusahaan tersebut minggu lalu.

Satu sumber tidak setuju dengan metode sumber lain keberuntungan Dia berbicara tentang masalah komputasi yang dihadapi Superalignment, dengan mengatakan bahwa masalah tersebut sudah ada sebelum keterlibatan Sutskever dalam kudeta yang gagal, yang telah menjangkiti kelompok tersebut sejak awal.

Meskipun ada beberapa laporan bahwa Sutskever terus memimpin tim Superalignment dari jarak jauh, sumber yang mengetahui pekerjaan tim mengatakan bahwa bukan itu masalahnya dan bahwa Sutskever tidak memiliki akses ke pekerjaan tim dan tidak berperan dalam mengarahkan tim setelahnya. . Ucapan terima kasih.

Dengan kepergian Sutskever, tim Superalignment kehilangan satu-satunya orang di tim yang memiliki cukup modal politik dalam organisasi untuk berhasil memperjuangkan apropriasi komputasi, kata sumber.

Selain Leike dan Sutskever, OpenAI telah kehilangan setidaknya enam peneliti keamanan AI lainnya dari berbagai tim dalam beberapa bulan terakhir. Salah satu peneliti, Daniel Kokotaglo, mengatakan kepada situs berita Vox bahwa dia “secara bertahap kehilangan kepercayaan terhadap kepemimpinan OpenAI dan kemampuan mereka untuk menangani AGI secara bertanggung jawab, jadi saya mengundurkan diri.”

Menanggapi komentar Leike, Altman dan salah satu pendiri Greg Brockman, yang merupakan presiden OpenAI, memposting di [Leike] Untuk semua yang dia lakukan untuk OpenAI. Keduanya melanjutkan dengan menulis, “Kita perlu terus meningkatkan standar keselamatan kerja kita agar sesuai dengan risiko yang ada pada setiap model baru.”

Mereka kemudian memberikan pandangan mereka mengenai pendekatan perusahaan terhadap keselamatan AI di masa depan, yang akan mencakup fokus yang lebih besar pada pengujian model yang saat ini sedang dikembangkan daripada mencoba mengembangkan pendekatan teoritis tentang bagaimana membuat model masa depan yang lebih kuat menjadi aman. “Kita memerlukan umpan balik yang sangat ketat, pengujian yang ketat, pertimbangan yang cermat di setiap langkah, keamanan kelas dunia, dan keselarasan antara keselamatan dan kemampuan,” tulis Brockman dan Altman, seraya menambahkan bahwa “pemahaman berdasarkan pengalaman dapat membantu menentukan jalan ke depan.”

Orang-orang yang mereka ajak bicara keberuntungan Mereka melakukannya secara anonim, baik karena mereka takut kehilangan pekerjaan, atau karena takut kehilangan saham di perusahaan, atau keduanya. Karyawan yang meninggalkan OpenAI dipaksa untuk menandatangani perjanjian pemisahan yang mencakup klausul tegas yang tidak meremehkan yang menyatakan bahwa perusahaan dapat menebus saham mereka jika mereka mengkritik perusahaan secara terbuka, atau bahkan jika mereka mengakui klausul tersebut ada. Karyawan telah diberitahu bahwa siapa pun yang menolak menandatangani perjanjian pemisahan juga akan kehilangan bagiannya.

Setelah Rubah tersebut Mengenai ketentuan pemisahan ini, Altman memposting di X bahwa dia tidak mengetahui klausul ini dan “sangat malu” dengan fakta ini. Dia mengatakan OpenAI tidak pernah mencoba untuk menegakkan klausul tersebut dan mengambil kembali saham yang dimiliki oleh siapa pun. Dia mengatakan perusahaan sedang dalam proses memperbarui surat keluarnya untuk “memperbaiki” masalah tersebut dan bahwa setiap mantan karyawan yang khawatir dengan ketentuan dalam surat keluar yang mereka tandatangani dapat menghubungi mereka secara langsung mengenai masalah tersebut dan ketentuan tersebut akan diubah.