Yapay Zeka Sohbet Botları Sağlık Tavsiyesinde Güvenilirlik Sınavını Geçemedi
BMJ Open araştırması: ChatGPT, Grok ve Meta AI tıbbi sorularda yüzde 50-58 hata oranıyla yanıt veriyor
En resumen
- BMJ Open dergisinde yayımlanan araştırma, yapay zeka tabanlı sohbet botlarının sağlık tavsiyelerindeki güvenilirlik sorununu ortaya koydu.
- Kanser, aşı, beslenme ve atletik performans konularındaki 50 tıbbi soruyu inceleyen çalışmada, hiçbir model tam doğru referans sunamadı.
- Grok yüzde 58, ChatGPT yüzde 52, Meta AI yüzde 50 hata oranıyla en başarısız platformlar oldu.
Resumen generado por IA
Günümüzde bilgiye ulaşmanın en hızlı yolu haline gelen yapay zeka tabanlı sohbet botları, sağlık ve tıp konularında ciddi bir güvenilirlik sınavıyla karşı karşıya. BMJ Open dergisinde yayımlanan kapsamlı bir çalışma; kanserden aşılara, beslenmeden atletik performansa kadar 50 farklı tıbbi soruyu beş farklı yapay zeka modeline yöneltti. Uzmanların değerlendirmeleri, dijital asistanların sağlık tavsiyelerinde ne kadar "tehlikeli" olabileceğini gözler önüne serdi.
KAYNAKLAR TAMAMEN "UYDURMA" ÇIKTI
Araştırma kapsamında incelenen sohbet botlarının hiçbirinin tamamen doğru bir referans listesi sunamadığı saptandı. Yapay zekanın sağladığı kaynakçaların büyük bir bölümünde; yanlış yazar isimleri, çalışmayan web bağlantıları ve hatta tamamen uydurulmuş akademik makaleler yer aldı. Bilimsel bir veri gibi sunulan bu bilgilerin, aslında dil modellerinin kelime tahmin istatistiklerinden ibaret olduğu vurgulandı.
EN HATALISI GROK, EN ÇOK BESLENME KONUSUNDA YANILIYORLAR
Platformlar arası performans karşılaştırmasında dikkat çekici sonuçlar elde edildi:
Grok: %58 hata oranıyla listenin sonunda yer aldı. ChatGPT: %52 hata oranıyla ikinci sırada. Meta AI: %50 hata oranıyla üçüncü sırada.
Özellikle beslenme ve atletik performans gibi internette bilgi kirliliğinin yoğun olduğu alanlarda, yapay zekanın hata payının zirve yaptığı kaydedildi.
AÇIK UÇLU SORULAR RİSKİ KATLIYOR
Çalışmada, yapay zekanın "doğru mu, yanlış mı?" şeklindeki kapalı uçlu sorularda nispeten başarılı olduğu görülürken; kullanıcıların günlük hayatta sıkça sorduğu açık uçlu sorularda hata payının %32 oranında "yüksek derecede sorunlu" olduğu tespit edildi.
"DOKTOR OLARAK KABUL EDİLEMEZ"
Uzmanlar, bu modellerin gerçek bir bilgi birikimine sahip olmadığını, sadece eğitim verilerindeki (forumlar, sosyal medya, makaleler) istatistiksel olasılıklara göre kelime seçtiğini hatırlatıyor. Nature Medicine dergisinde yayımlanan bir diğer çalışma da bu durumu destekliyor: Yapay zeka kendi başına %95 doğru yanıt verebilse de, bir kullanıcı ile etkileşime girdiğinde doğru bilgiye ulaşma oranı yüzde 35'e kadar geriliyor.
