Мислите ли, че взаимодействието с ново технологично средство може да промени вашите твърдо установени вярвания? Или да ви подтикне към решение, което иначе не бихте взели? Повечето от нас смятат, че сме твърде умни, за да бъдем манипулирани, но натрупващите се доказателства сочат друго.
Когато става въпрос за новата вълна на генеративни изкуствени интелекти, силата на „убеждението“ е идентифицирана като потенциално катастрофален риск, редом със страховете, че моделите могат да придобият автономност или да бъдат използвани за създаване на ядрено оръжие. Отделно, технологии с по-нисък риск, предназначени да влияят на поведението, вече са повсеместни в продуктите, които използваме всеки ден — от приложения, които ни подтикват да скролваме безкрайно, до запазване на „серии“ в Snapchat или Duolingo.
Но последните постижения в тази нова технология от Китай пораждат нови опасения за националната сигурност. Ново изследване, финансирано от Държавния департамент на САЩ и публикувано от австралийски мозъчен тръст, установява, че китайските технологични компании са на прага да създадат и внедрят технологии с „безпрецедентни способности за убеждаване“.
От гледна точка на сигурността това може да бъде използвано от Пекин или други актьори за манипулиране на политически мнения или засяване на социални раздори и разделение. С други думи, оръжие за покоряване на врагове без битка, тактика, възхвалявана от китайския философ генерал Сун Дзъ.
Докладът на Австралийския институт за стратегическа политика, публикуван миналата седмица, идентифицира китайския търговски сектор като „вече световен лидер“ в разработването и използването на продукти, предназначени да променят нагласи или поведения чрез експлоатация на физиологични или когнитивни уязвимости. За тази цел тези инструменти разчитат силно на анализ на лични данни, които събират, и след това персонализират взаимодействията с потребителите. Докладът посочва няколко китайски компании, които вече използват такива технологии — обхващащи генеративен изкуствен интелект, виртуална реалност и нововъзникващия сектор на невротехнологиите — за подкрепа на пропагандните и военните цели на Пекин.
Но този въпрос има и глобално измерение. Китайският частен сектор може да напредва в разработването на убедителни методи, но следва стратегии, разработени от американски технологични гиганти, за по-добро разбиране на потребителите и задържането им ангажирани. Адресирането на риска от Пекин ще изисква сериозно преосмисляне на това как позволяваме технологичните продукти да влияят на живота ни. Комбинацията от нови рискове за националната сигурност и как изкуствения интелект и други иновации бързо увеличават ефективността на тези инструменти трябва да бъде сигнал за събуждане в момент, когато убеждаването вече е дълбоко вкоренено в продуктите, създавани в Силициевата долина.
Част от това, което прави проблема труден за разрешаване, е неговият двуостър характер. Изследване, публикувано по-рано тази година в Science, установи, че разговорите с модели на изкуствен интелект могат да убедят теоретици на конспирациите да намалят убежденията си, дори когато те са важна част от тяхната идентичност. Това подчертава положителните „убеждаващи сили“ на големите езикови модели и способността им да ангажират персонализиран диалог, според изследователите.
Как да предотвратим използването на тези способности от Пекин или други злонамерени актьори за злонамерени кампании ще бъде нарастващо предизвикателство за политиците, което излиза извън рамките на прекъсване на достъпа до напреднали полупроводници.
Изискването на много по-голяма прозрачност би било добро начало, като се задължат технологичните компании да предоставят ясни декларации, когато съдържанието е персонализирано с цел повлияване на поведението. Разширяването на законите за защита на данните или предоставянето на по-ясни начини за потребителите да откажат събирането на техните данни също би ограничило способността на тези инструменти да таргетират потребителите индивидуално.
Приоритизирането на дигиталната грамотност и образование също е наложително, за да се повиши осведомеността за убедителните технологии, как работят алгоритмите и персонализираното съдържание, как да разпознаваме тези тактики и да избегнем манипулации от тези системи.
В крайна сметка е необходимо много повече изследвания за това как да се защитят хората от рисковете на убедителните технологии. Би било разумно компаниите зад тези инструменти да поемат водеща роля, както започнаха да правят OpenAI и Anthropic с иззкуствен интелект. Политиците също трябва да изискват от фирмите да споделят откритията си с регулатори и заинтересовани страни, за да се изгради глобално разбиране за това как тези техники могат да бъдат експлоатирани от противници. Тази информация може да бъде използвана за създаване на ясни стандарти или целенасочена регулация.
Рискът от технология, толкова усъвършенствана, че да позволи на Пекин да „дърпа конците“, за да промени това, в което вярвате или какви сте, може все още да изглежда като далечен научнофантастичен сценарий. Но залозите са твърде високи, за да може световните политици да реагират едва след като това се случи. Сега е времето за глобално осъзнаване на това колко лична информация и влияние даваме на технологичните компании върху живота си.
Катрин Торбек е колумнист на Bloomberg, който се занимава с технологиите в Азия. Преди това е била технологичен репортер в CNN и ABC News.