Новият здревен AI чатбот на СЗО понякога не знае за какво говори

Чатботът SARAH e част от кампанията на СЗО за намиране на технология, която може както да образова хората, така и да запълни липсите на персонал

17:32 | 18 април 2024

Автор: Джесика Никс

Снимка: Bloomberg

Световната здравна организация (СЗО) навлиза в света на изкуствения интелект, за да предоставя основна здравна информация чрез човекоподобен аватар. Но въпреки че ботът реагира съчувствено на израженията на лицето на потребителите, той не винаги знае за какво говори.

SARAH, съкратено от Smart AI Resource Assistant for Health, е виртуален здравен работник, който е на разположение да говори 24/7 на осем различни езика, за да обяснява теми като психично здраве, употреба на тютюн и здравословно хранене. Това е част от кампанията на СЗО за намиране на технология, която може както да образова хората, така и да запълни липсите на персонал, като светът е изправен пред недостиг на здравни работници.

СЗО предупреждава на своя уебсайт, че този ранен прототип, представен на 2 април, предоставя отговори, които „може да не са винаги точни“. Някои от обученията на SARAH изостават с години от последните данни. И ботът от време на време предоставя странни отговори, известни като халюцинации в AI модели, които могат да разпространяват дезинформация за общественото здраве.

SARAH няма диагностична функция като WebMD или Google. Всъщност ботът е програмиран да не говори за нищо извън обхвата на СЗО, включително въпроси за конкретни лекарства. Затова SARAH често изпраща хора на уебсайт на СЗО или казва, че потребителите трябва да се „консултират с вашия доставчик на здравни услуги“.

„Липсва му дълбочина“, каза Рамин Джаван, радиолог и изследовател в университета „Джордж Вашингтон“. „Но мисля, че това е така, защото те просто не искат да прекрачат границите си и това е само първата стъпка.“

СЗО казва, че SARAH е предназначена да работи в партньорство с учени и правителства, за да осигури точни данни за обществено здраве. Агенцията ги моли за обратна връзка как да подобрят бота и да го използват при спешни здравословни ситуации. Но подчертава, че нейнията AI асистент все още е в процес на разработка.

„Тези технологии не са в точката, в която са заместители на взаимодействието с професионалист или получаването на медицински съвет от действително обучен клиницист или доставчик на здравни услуги“, каза Ален Лабрик, директор на дигиталното здраве и иновации в СЗО.

SARAH беше обучена върху ChatGPT 3.5 на OpenAI, който използва данни до септември 2021 г., така че ботът няма актуална информация за медицински съвети или новинарски събития. На въпроса дали Американската администрация по храните и лекарствата (FDA) е одобрила лекарството за Алцхаймер Lecanemab например, SARAH каза, че лекарството все още е в клинични изпитвания, когато всъщност е одобрено за ранно лечение на заболяване през януари 2023 г.

Дори собствените данни на СЗО могат да объркат SARAH. На въпроса дали смъртните случаи от хепатит се увеличават, ботът не може веднага да предостави подробности от скорошен доклад на СЗО, докато не бъде подканен отново, за да провери уебсайта на агенцията за актуализирана статистика. Агенцията каза, че проверява дали има забавяне в актуализациите.

И понякога AI ботът не работи. Джаван попита SARAH къде може да се направи мамография във Вашингтон, но ботът не можа да даде отговор.

Нищо от това не е необичайно в тези ранни дни на развитие на изкуствения интелект. В проучване от миналата година, разглеждащо как ChatGPT отговаря на 284 медицински въпроса, изследователи от Медицинския център на университета "Вандербилт" откриха, че въпреки че дава правилни отговори през повечето време, има множество случаи, в които чатботът е „зрелищно и изненадващо грешен“.

Безопасност и поверителност

За да може да имитира съпричастност към сесиите с въпроси, SARAH получава достъп до компютърни камери, за да съхрани израженията на лицето на потребителите за 30 секунди, след което изтрива записите, каза директорът по комуникациите на СЗО Джейми Гуера. Всяко посещение е анонимно, но потребителите могат да изберат да споделят въпросите си със СЗО в проучване, за да подобрят изживяването, въпреки че Гуера каза, че всички събрани данни са рандомизирани и не са обвързани с IP адрес или лице, за да се защитят потребителите.

Все пак използването на данни с отворен код като тези на GPT крие своите опасности, тъй като е честа мишена на киберпрестъпници, каза Жинкуан ли, изследовател по обществено здраве и ИТ в университета "Хофстра". Някои хора, които имат достъп до SARAH през Wi-Fi, са уязвими на атаки със зловреден софтуер или хакване на видеокамери. Гуера каза, че атаките, опитващи се да получат достъп до данни, не би трябвало да са проблем поради анонимните сесии.

Правителствените партньори и учените също нямат редовен достъп до данните, включително въпроси, които биха могли да помогнат за проследяване на здравните модели, освен ако не поискат данните от доброволни проучвания. Гуера каза, че това означава, че SARAH няма да бъде най-точният инструмент за прогнозиране на следващото избухване на грип, например.

SARAH е продължение на проект за виртуален здравен работник на СЗО от 2021 г., наречен Florence, който предостави основна информация за Covid-19 и тютюна, а базираната в Нова Зеландия Soul Machines Ltd. създаде аватарите и за двата проекта. Soul Machines няма достъп до данните на SARAH, но главният изпълнителен директор Грег Крос каза в изявление, че компанията използва GPT данните, за да подобри резултатите и опита. По-рано тази година СЗО публикува етични насоки за своите правителствени партньори за свързани със здравето AI модели, включително насърчаване на прозрачността на данните и защита на безопасността.

Докато Florence изглеждаше млада, небяла жена, САРА изглежда бяла.

Що се отнася до пола на SARAH, когато го попитаха, ботът каза: „Аз съм чатбот дигитален промоутър на здравето, така че нямам пол или използвам лични местоимения. Целта ми е да ви помогна да водите здравословен начин на живот. Имате ли въпроси относно отказването от тютюнопушенето, намаляването на консумацията на алкохол или подобряването на цялостното ви благосъстояние?“