“Bir yapay zekâ doktorlardan daha doğru tanı koyduysa, bu sonuç günlük sağlık hizmetlerinde de geçerli mi?” MAI-DxO için aktarılan karşılaştırma, simüle vakalardaki performansı ele alıyor. Bu sonuçları yorumlarken testin kapsamını ve gerçek klinik uygulamayla arasındaki farkı ayrı tutmak gerekiyor.
Simülasyondaki karşılaştırma ne gösterdi?
Aynı vakalarda ders kitabı ve çevrimiçi kaynak kullanan hekimlerin doğruluk oranı yüzde 36, dış kaynak kullanmayanlarınki yüzde 22 olarak verildi. Bu oranlar, simüle edilmiş vakalardaki karşılaştırmanın sonuçlarıdır. Konuyla ilgili ek bağlam için yapay zekâ konulu başka bir içerik sayfası da incelenebilir.
Bu vaka grubunda da ölçülen şey, sistem ile hekimlerin simülasyondaki tanı doğruluğuydu; sonuçlar hastane ortamındaki uygulamayı değerlendirmiyor.
AA’nın aktardığına göre araştırmacılar, NEJM’den alınmış 304 karmaşık vakayı değerlendirdi. Bu vaka sayısı, karşılaştırmanın kapsamını tanımlıyor; sonuçların başka vaka gruplarına ne ölçüde taşınabileceğini tek başına göstermiyor.
Bu sonuçların sınırı nerede?
TechCrunch’a göre bu karmaşıklıktaki vakaları normalde ele alan uzmanlar veya hekim ekipleri karşılaştırmaya dahil edilmedi. Bu kapsam, MAI-DxO’nun doktorların yerini aldığı ya da klinik uygulamada daha başarılı olduğu sonucunu desteklemiyor.
Bu vaka sayısı, karşılaştırmanın hangi örneklem üzerinde yapıldığını anlamaya yarıyor; değerlendirmeye uzman ekiplerin katılmaması ise sonuçların hangi hekim grubuyla karşılaştırıldığını sınırlıyor.
AA, tipik acil servis vakalarına ilişkin ayrı karşılaştırmada sistem için yüzde 80, hekimler için yüzde 47 doğruluk oranı bildiriyor. Bu değerler acil servis vakalarına ait olduğundan, karmaşık vaka grubundaki oranlarla aynı değerlendirme kümesi gibi okunmamalı.
Klinik doğrulama planı
TechCrunch’ın aktardığına göre Microsoft, Beth Israel Deaconess Medical Center ile MAI-DxO’nun klinik akıl yürütmesini farklı hastane ortamlarında değerlendirmeyi planlıyor. Microsoft ayrıca gerçek hastane koşullarındaki performansı ölçmek üzere klinik doğrulama testlerine başlamayı hedeflediğini bildirdi. Bu adımlar, sistemin simülasyon dışındaki koşullarda incelenmesine yönelik planları gösteriyor.
Simülasyon performansını merak edenler için haberlerde aktarılan hekim karşılaştırması yanıt sunuyor. Klinik kullanım kanıtını arayanlar açısından belirleyici olan ise hastane ortamındaki değerlendirmelerin sonuçları olacak. Microsoft’un açıklamasını aktaran TechCrunch, bu değerlendirmeyi farklı hastane ortamlarında klinik akıl yürütmeyi inceleme planı olarak bildiriyor.
Hastane değerlendirmesinin farklı ortamlarda yürütülmesi planı, sonraki sonuçların bu simülasyon koşullarından ayrı incelenmesini sağlayacak bir çerçeve sunuyor.