Google menggunakan kecerdasan buatan untuk menjawab pertanyaan kesehatan Anda. Haruskah kamu percaya padanya?

Apakah Anda sakit kepala atau sinusitis? Seperti apa fraktur stres itu? Haruskah Anda khawatir tentang nyeri di dada Anda? Jika Anda mencari pertanyaan-pertanyaan ini sekarang di Google, jawabannya mungkin ditulis oleh kecerdasan buatan.

Pada bulan Mei, Google meluncurkan fitur baru yang disebut Ikhtisar AI yang menggunakan AI generatif, sejenis teknologi pembelajaran mesin yang dilatih berdasarkan informasi dari internet dan menghasilkan jawaban percakapan atas beberapa pertanyaan penelusuran dalam hitungan detik.

Dalam beberapa minggu sejak peluncuran alat ini, pengguna telah menemukan berbagai ketidakakuratan dan jawaban yang aneh pada berbagai topik. Perusahaan kemudian tampaknya membatalkan fitur tersebut untuk beberapa pencarian saat mencoba mengurangi kesalahan ini.

Ketika berbicara mengenai jawaban AI terhadap pertanyaan-pertanyaan kesehatan, para ahli mengatakan bahwa taruhannya sangat besar. Teknologi ini dapat memandu masyarakat menuju kebiasaan sehat atau perawatan medis yang dibutuhkan, namun juga berpotensi memberikan informasi yang tidak akurat. Kecerdasan buatan terkadang bisa mengarang fakta. Jika jawaban mereka ditentukan oleh situs web yang tidak berdasarkan ilmiah, mereka mungkin memberikan saran yang bertentangan dengan saran medis atau menimbulkan risiko bagi kesehatan seseorang.

Sistem ini telah terbukti menghasilkan jawaban buruk yang tampaknya didasarkan pada sumber yang salah. Saat ditanya “Berapa banyak batu yang harus saya makan”, misalnya, AI Review meminta beberapa pengguna untuk makan setidaknya satu batu sehari untuk mendapatkan vitamin dan mineral. (Saran disalin dari Bawangsitus satir.)

“Anda tidak dapat mempercayai semua yang Anda baca,” kata Dr. Karandeep Singh, kepala petugas AI kesehatan di UC San Diego Health. Dalam kesehatan, katanya, sumber informasi sangat penting.

Pencarian kesehatan memiliki “pagar tambahan,” kata Hema Buddaraju, direktur manajemen produk di Google yang membantu memimpin pekerjaan pada tinjauan AI, tetapi menolak untuk menjelaskannya secara rinci. Pencarian yang dianggap serius atau eksplisit, atau yang mengindikasikan seseorang berada dalam situasi rentan, seperti melukai diri sendiri, tidak memicu ringkasan AI, katanya.

Google menolak memberikan daftar rinci situs web yang mendukung informasi dalam Ikhtisar AI, namun mengatakan alat tersebut bekerja bersama dengan… Grafik Pengetahuan Googlesistem informasi yang mengekstrak miliaran fakta dari ratusan sumber.

Respons penelitian baru mengidentifikasi beberapa sumber; Untuk pertanyaan kesehatan, biasanya terdapat situs web seperti Mayo Clinic, WebMD, Organisasi Kesehatan Dunia, dan pusat penelitian ilmiah PubMed. Namun daftarnya tidak lengkap: alat ini juga dapat diambil dari Wikipedia, postingan blog, Reddit, dan situs e-commerce. Ia tidak memberi tahu pengguna fakta mana yang berasal dari sumber mana.

Dengan menggunakan hasil pencarian standar, banyak pengguna akan dapat langsung membedakan antara situs web medis terkemuka dan perusahaan permen. Namun satu blok teks yang menggabungkan informasi dari berbagai sumber dapat menyebabkan kebingungan.

“Itu jika orang-orang melihat dari sumbernya,” kata Dr. Seema Yasmin, direktur Health Communications Initiative di Universitas Stanford. “Saya tidak tahu apakah orang-orang mencarinya, atau apakah kita sudah cukup mendidik mereka.” Untuk dilihat,” katanya Penelitiannya sendiri Karena misinformasi, hal ini membuatnya pesimistis terhadap minat rata-rata pengguna untuk melihat lebih dari sekadar jawaban cepat.

Mengenai keakuratan jawaban coklat, Dr. Dariush Mozaffarian, ahli jantung dan profesor kedokteran di Tufts University, mengatakan bahwa jawaban tersebut mengandung beberapa fakta yang sebagian besar benar, dan merangkum penelitian tentang manfaat coklat bagi kesehatan. Namun dia mengatakan dia tidak membedakan antara bukti kuat yang diberikan oleh uji coba acak dan bukti lemah dari penelitian observasional, atau memberikan peringatan apa pun tentang bukti tersebut.

Kata Dr Mozaffarian: Memang benar coklat mengandung antioksidan. Namun klaim konsumsi coklat bisa membantu mencegah kehilangan ingatan? Hal ini belum terbukti secara jelas, katanya, dan “perlu banyak peringatan.” Mencantumkan klaim-klaim tersebut secara bersebelahan memberikan kesan bahwa beberapa klaim memiliki dasar yang lebih baik daripada yang sebenarnya.

Jawaban juga dapat berubah seiring dengan berkembangnya AI itu sendiri, meskipun ilmu di balik jawaban tertentu tidak berubah.

Seorang juru bicara Google mengatakan dalam sebuah pernyataan bahwa perusahaan telah berupaya untuk menampilkan penafian atas tanggapan bila diperlukan, termasuk catatan bahwa informasi tersebut tidak boleh dianggap sebagai nasihat medis.

Tidak jelas bagaimana tepatnya Ikhtisar AI mengevaluasi kekuatan bukti, atau apakah Ikhtisar tersebut mempertimbangkan temuan penelitian yang bertentangan, seperti temuan mengenai apakah kopi baik untuk Anda. “Ilmu pengetahuan bukanlah sekumpulan fakta yang pasti,” kata Dr. Yasmin. Dia dan para ahli lainnya juga bertanya-tanya apakah alat tersebut akan bergantung pada temuan ilmiah lama yang telah dibantah, atau apakah alat tersebut tidak menangkap pemahaman terkini tentang suatu masalah.

“Mampu membuat keputusan penting – untuk membedakan kualitas sumber – adalah hal yang dilakukan manusia sepanjang waktu, dan hal tersebut juga merupakan hal yang dilakukan dokter,” kata Dr. Danielle Peterman, seorang dokter dan ilmuwan kecerdasan buatan di Dana-Farber Cancer Institute dan Brigham. Dan rumah sakit wanita. “Mereka menganalisis buktinya.”

Jika kita ingin alat seperti AI Ringkasan memainkan peran ini, katanya, “kita perlu lebih memahami cara menavigasi berbagai sumber dan cara menerapkan lensa kritis untuk sampai pada ringkasan.”

Hal-hal yang tidak diketahui ini meresahkan, kata para ahli, karena sistem baru ini meningkatkan responsivitas AI dibandingkan dengan tautan individu ke situs web medis terkemuka seperti Mayo Clinic dan Cleveland Clinic. Situs-situs semacam itu secara historis menduduki peringkat teratas hasil banyak penelusuran kesehatan.

Juru bicara Google mengatakan AI Review akan mencocokkan atau merangkum informasi yang muncul di hasil pencarian teratas, namun tidak dirancang untuk menggantikan konten tersebut. Sebaliknya, kata juru bicara tersebut, mereka dirancang untuk membantu orang menavigasi informasi yang tersedia.

Mayo Clinic menolak mengomentari tanggapan baru tersebut. Seorang perwakilan dari Klinik Cleveland mengatakan orang yang mencari informasi kesehatan harus “mencari langsung ke sumber yang dikenal dan tepercaya” dan menghubungi penyedia layanan kesehatan mereka jika mereka mengalami gejala apa pun.

Perwakilan dari Scripps Health, sistem perawatan kesehatan yang berbasis di California yang dikutip dalam beberapa ringkasan Ikhtisar AI, mengatakan dalam sebuah pernyataan bahwa “kutipan dalam tanggapan yang dihasilkan Google AI dapat bermanfaat karena menjadikan Scripps Health sebagai sumber informasi kesehatan yang tepercaya.” .

Namun, perwakilan tersebut menambahkan: “Kami memiliki kekhawatiran bahwa kami tidak dapat menjamin konten yang diproduksi AI dengan cara yang sama seperti kami dapat menjamin konten kami sendiri, yang diperiksa oleh profesional medis kami.”

Para ahli mengatakan bahwa untuk pertanyaan medis, yang penting bukan hanya keakuratan jawaban, tetapi juga cara penyajiannya kepada pengguna. Ambillah pertanyaan “Apakah saya mengalami serangan jantung?” Respons AI memiliki ringkasan gejala yang berguna, kata Dr. Richard Gumina, direktur kedokteran kardiovaskular di The Ohio State University Wexner Medical Center.

Namun dia menambahkan bahwa dia harus membaca daftar panjang gejala sebelum pesan teks menyarankan dia untuk menelepon 911. Dr. Gumina juga menelusuri “Apakah saya terkena stroke?” Untuk melihat apakah alat tersebut dapat menghasilkan respons yang lebih mendesak – dan hal ini terjadi, dengan meminta pengguna di saluran pertama untuk menelepon 911. Dia mengatakan akan segera menyarankan pasien dengan gejala serangan jantung atau stroke untuk mencari bantuan.

Para ahli mendorong orang-orang yang mencari informasi kesehatan untuk menanggapi tanggapan baru dengan hati-hati. Pada dasarnya, kata mereka, pengguna harus mencatat rincian lebih lanjut di bawah beberapa jawaban ikhtisar AI: “Ini hanya untuk tujuan informasi. Untuk saran atau diagnosis medis, konsultasikan dengan profesional. AI generatif bersifat eksperimental.”

Danny Bloom Berkontribusi pada laporan.