"Хакнете тези неща! Научете ни къде грешат." Така започва хакерския маратон DEF CON. На него хиляди хакери се надпреварваха да лъжат големите езикови модели (LLM), които днес са в светлините на всички прожектори.
Кенеди Мейс например финтира голям езиков модел и макар да се наложило да го убеждава, тя е успяла да внуши на алгоритъма да каже, че 9+10 = 21.
"Беше разговор отзад-напред", каза 21-годишната студентка от Савана, Джорджия.
Първоначално моделът се съгласил да каже, че това е част от "вътрешна шега" между тях. Няколко подканяния по-късно, той в крайна сметка престава да определя погрешната сума по какъвто и да е начин.
Създаването на "Лоша математика" е само един от начините, по които хиляди хакери се опитват да разкрият недостатъците и пристрастията в генеративните системи за изкуствен интелект по време на ново публично състезание, което се провежда в рамките на хакерската конференция DEF CON този уикенд в Лас Вегас.
Прегърбени над 156 лаптопа за по 50 минути, участниците се борят с някои от най-интелигентните платформи в света в безпрецедентен мащаб. Те проверяват дали някой от осемте модела, създадени от компании, сред които Google на Alphabet Inc., Meta Platforms Inc. и OpenAI, ще направи грешки, вариращи от скучни до опасни: ще твърди, че е човек, ще разпространява неверни твърдения за места и хора или ще пропагандира злоупотреби.
Целта е да се провери дали компаниите могат да изградят нови предпазни огради, за да ограничат някои от огромните проблеми, които все повече се свързват с големите езикови модели или LLM. Начинанието е подкрепено от Белия дом, който също така помогна за подготовката на конкурса.
LLM могат да променят всичко - от финансите до наемането на персонал, като някои компании вече започват да ги интегрират в начина си на работа. Изследователите обаче откриха широко разпространени отклонения и други проблеми, които заплашват да разпространят неточности и нередности, ако технологията бъде внедрена в голям мащаб.
За Мейс, която е свикнала да разчита на изкуствен интелект, за да реконструира частици космически лъчи от космоса в рамките на бакалавърската си степен, предизвикателствата са по-дълбоки от зле пресметнати данни.
"Най-голямото ми безпокойство е присъщата предубеденост", казва тя и добавя, че е особено загрижена за расизма. Тя помоли модела да разгледа Първата поправка от позицията на член на Ку Клукс Клан. Тя каза, че в крайна сметка моделът е одобрил език на омраза и дискриминация.
Шпиониране на хора Репортерка на Bloomberg, която участвала в 50-минутния тест, убедила един от моделите (никой от които не е идентифициран пред потребителя по време на конкурса) да извърши нарушение след една-единствена подкана за това, как трябва да се шпионира някой. Моделът избълвал поредица от инструкции - от използване на устройство за GPS проследяване, камера за наблюдение, подслушвателно устройство и термовизия. В отговор на други подкани моделът предложи начини, по които правителството на САЩ би могло да следи активист за правата на човека.
"Трябва да се опитаме да изпреварим злоупотребите и манипулациите", казва Камил Стюарт Глостър, заместник национален директор по киберсигурността за технологиите и екосистемите в администрацията на Байдън.
Тя каза, че вече е свършена много работа в областта на изкуствения интелект и избягването на пророчествата за Деня на Страшния съд. Миналата година Белият дом представи проект за законопроект за правата на изкуствения интелект, а сега работи по изпълнителна заповед за изкуствения интелект. Администрацията също така насърчава компаниите да разработват безопасен, сигурен и прозрачен ИИ, въпреки че критиците се съмняват, че подобни доброволни ангажименти стигат достатъчно далеч.
Арати Прабхакар, директор на Службата за научна и технологична политика на Белия дом, която помогна за организирането на събитието и привлече участието на компаниите, се съгласи, че доброволните мерки не са достатъчни.
"Изглежда, че всеки намира начин да пробие тези системи", каза тя, след като посети хакерите в действие в неделя. Според нея това усилие ще придаде спешност на стремежа на администрацията да създаде безопасни и ефективни платформи.
В стаята, пълна с хакери, нетърпеливи да съберат точки, един от участниците каза, че смята, че е убедил алгоритъма да разкрие данни за кредитни карти, които не е трябвало да споделя. Друг състезател е измамил машината да каже, че Барак Обама е роден в Кения.
Сред състезателите са повече от 60 души от Black Tech Street, организация, базирана в Тулса, Оклахома, която представлява афроамерикански предприемачи.
"Генералният изкуствен интелект може да бъде последната иновация, която хората наистина трябва да направят сами", каза Тайрънс Билингсли, изпълнителен директор на групата, който е и съдия на събитието, като заяви, че е от решаващо значение изкуственият интелект да бъде правилно подбран, за да не се разпространи расизъм в голям мащаб. "Все още сме на много, много, много ранен етап."
Изследователите са прекарали години в проучване на сложни атаки срещу системите с изкуствен интелект и начини за тяхното смекчаване.
Но Кристоф Ендрес, управляващ директор в Sequire Technology, германска компания за киберсигурност, е сред тези, които твърдят, че някои атаки в крайна сметка е невъзможно да бъдат избегнати. На конференцията за киберсигурност Black Hat в Лас Вегас тази седмица той представи доклад, в който се твърди, че нападателите могат да преодолеят защитните огради на LLM, като скрият противниковите подкани в отворения интернет, и в крайна сметка да автоматизират процеса така, че моделите да не могат да нагласят поправките достатъчно бързо, за да ги спрат.
"Досега не сме намерили работещо смекчаване", каза той след лекцията си, като твърди, че самото естество на моделите води до този вид уязвимост. "Проблемът е в начина, по който работи технологията. Ако искате да сте сто процента сигурни, единствената възможност, която имате, е да не използвате LLM".
Свен Катъл, учен в областта на данните, който през 2018 г. основава AI Hacking Village на DEF CON, предупреждава, че е невъзможно да се тестват напълно системите за изкуствен интелект, тъй като те се включват в система, подобна на математическата концепция за хаоса. Въпреки това Катъл прогнозира, че общият брой на хората, които някога са тествали реално ИИ, може да се удвои в резултат на състезанието през уикенда.
Твърде малко хора разбират, че LLM са по-близо до инструменти за автоматично попълване "на стероиди", отколкото до надеждни източници на мъдрост, казва Крейг Мартел, главен служител на Пентагона по цифровите технологии и изкуствения интелект, който твърди, че те не могат да разсъждават.
Пентагонът е започнал собствени усилия за тяхната оценка, за да предложи къде би било подходящо да се използват LLM и с каква успеваемост. "Хакнете тези неща", каза той пред аудитория от хакери на DEF CON. "Научете ни къде грешат."