Kecerdasan buatan adalah penguasaan bahasa. Haruskah kita mempercayai apa yang dia katakan?

“Saya pikir ini memungkinkan kita untuk lebih bijaksana dan lebih reflektif tentang masalah keselamatan,” kata Altman. “Bagian dari strategi kami adalah: perubahan bertahap di dunia lebih baik daripada perubahan mendadak.” Atau, seperti yang dikatakan VP OpenAI Mira Moratti, ketika saya bertanya kepadanya tentang pekerjaan tim keamanan yang membatasi akses terbuka ke perangkat lunak, “Jika kita akan belajar bagaimana menerapkan teknologi yang kuat ini, mari kita mulai ketika taruhannya sangat rendah. .”

Sementara GPT-3 itu sendiri Berjalan pada 285.000 inti CPU di kluster superkomputer di Iowa, OpenAI beroperasi di luar area Misi San Francisco, di pabrik bagasi yang telah diperbarui. Pada bulan November tahun lalu, saya bertemu Ilya Sotskefer di sana, mencoba untuk mendapatkan penjelasan awam tentang bagaimana GPT-3 benar-benar bekerja.

“Itulah ide dasar GPT-3,” kata Sotskever penuh perhatian, mencondongkan tubuh ke depan di kursinya. Dia memiliki cara yang menarik untuk menjawab pertanyaan: Beberapa awal yang salah – “Saya dapat memberi Anda deskripsi yang kira-kira cocok dengan deskripsi yang Anda minta” – disela oleh jeda meditasi yang panjang, seolah-olah dia memetakan seluruh respons yang sedang berlangsung.

Dia akhirnya berkata: “Ide dasar GPT-3 adalah cara menghubungkan gagasan pemahaman intuitif dengan sesuatu yang dapat diukur dan dipahami secara mekanis, dan itu adalah tugas memprediksi kata berikutnya dalam teks. Bentuk lain dari kecerdasan buatan berusaha untuk menyandikan informasi tentang dunia: strategi catur para master hebat, prinsip-prinsip klimatologi. Tapi kecerdasan GPT-3, jika kecerdasan adalah kata untuk itu, datang dari bawah ke atas: melalui kata kerja unsur untuk memprediksi kata berikutnya. Untuk pelatihan GPT-3, model diberi “prompt”—beberapa kalimat atau paragraf teks dari artikel surat kabar, misalnya, atau novel atau makalah ilmiah—dan kemudian diminta untuk menyarankan daftar kemungkinan kata yang mungkin menyelesaikan urutan, diurutkan berdasarkan probabilitas. Pada tahap awal pelatihan, kata-kata yang diajukan tidak masuk akal. Tanyakan algoritme dengan kalimat seperti “Penulis telah menghapus kata terakhir dari kata pertama . . . “” dan tebakan akan menjadi semacam aliran omong kosong: daftar – kata yang hilang yang benar muncul: “paragraf.” Kemudian program memperkuat dan melemahkan koneksi saraf acak yang menghasilkan saran tertentu Semua koneksi yang menghasilkan tebakan yang salah Kemudian pindah ke router berikutnya. Seiring waktu, dengan iterasi yang cukup, program belajar.

Kembali pada bulan Januari, OpenAI menambahkan fitur yang memungkinkan pengguna untuk memberikan instruksi GPT-3 langsung sebagai prompt, daripada hanya mengharuskan mereka untuk memperluas segmen sampel teks. Misalnya, menggunakan mode Bantuan, GPT-3 pernah diberi perintah: “Tulis esai yang membahas peran metafiksi dalam karya Italo Calvino.” Sebuah paragraf singkat yang dimulai sebagai berikut:

Penulis Italia Italo Calvino dianggap ahli dalam metafiksi, jenis tulisan di mana penulis memecahkan dinding keempat untuk membahas tindakan menulis itu sendiri. Bagi Calvino, metafiksi adalah cara menjelajahi sifat realitas dan cara cerita dapat membentuk persepsi kita tentang dunia. Novel-novelnya sering melibatkan struktur dan labirin yang menyenangkan yang memanipulasi batas antara kenyataan dan fantasi. Dalam kasus jika pelancong berada di malam musim dingin, misalnya, pembaca terus-menerus terganggu oleh diskusi di tingkat meta tentang tindakan membaca dan sifat mendongeng. . . .

Anda dapat memberikan GPT-3 prompt yang sama, berulang-ulang, dan setiap kali itu akan menghasilkan respons yang unik, beberapa lebih persuasif daripada yang lain tetapi hampir semuanya sangat mudah. Perintah indikatif dapat mengambil segala macam bentuk: “Beri saya daftar semua bahan dalam saus Bolognese,” “Tulis puisi tentang desa tepi laut Prancis dalam gaya John Ashbery,” “Jelaskan Ledakan Besar dalam bahasa yang 8 tahun -lama mengerti.” Kadang-kadang saya pertama kali memberi makan rangsangan GPT-3 semacam ini, saya merasa benar-benar merinding di punggung saya. Tampaknya hampir tidak mungkin bagi mesin untuk menghasilkan teks yang begitu jelas dan responsif sepenuhnya berdasarkan pelatihan awal untuk memprediksi kata berikutnya.

Tetapi AI memiliki sejarah panjang dalam menciptakan ilusi kecerdasan atau pemahaman tanpa benar-benar mengirimkan barang. pada makalah yang banyak dibahas Diterbitkan tahun lalu, profesor linguistik Universitas Washington Emily Bender, mantan peneliti Google Timnit Gebru dan sekelompok rekan penulis menyatakan bahwa model bahasa besar hanyalah ‘burung beo acak’: yaitu, program menggunakan pengacakan hanya untuk mencampur ulang kalimat yang ditulis oleh manusia. . Bender baru-baru ini mengatakan kepada saya melalui email: “Apa yang telah berubah bukanlah beberapa langkah di atas ambang batas tertentu menuju ‘kecerdasan buatan.’ Sebaliknya, katanya, apa yang telah berubah adalah ‘perangkat keras, perangkat lunak, dan inovasi ekonomi yang memungkinkan akumulasi dan pemrosesan besar kumpulan data’ — serta budaya Teknologi yang “dapat dimiliki oleh orang yang membangun dan menjual barang-barang seperti itu” jauh dari membangunnya di atas dasar data yang tidak akurat.”