Не всеки ден чета предсказание за гибел, толкова грабващо като това на Елиезер Юдковски в списание Time в началото на април. „Най-вероятният резултат от изграждането на свръхчовешки интелигентен изкуствен интелект, при нещо подобно на настоящите обстоятелства“, пише той, „е, че буквално всички на Земята ще умрат. Не „може би има някакъв далечен шанс“, а „това е очевидното нещо, което ще се случи“... Ако някой изгради твърде мощен AI, при настоящите условия, очаквам, че всеки един член на човешкия вид и целият биологичен живот на Земята ще умре малко след това."
Имам ли вниманието ви сега?
Юдковски не е някаква случайна Касандра. Той ръководи Института за изследване на машинния интелект, организация с нестопанска цел в Бъркли, Калифорния, и вече е писал много по въпроса за изкуствения интелект. Все още си спомням ясно, когато проучвах книгата си Doom, неговото предупреждение, че някой може несъзнателно да създаде AI, който да се обърне срещу нас – „например“, предложих аз, „защото ние му казваме да спре изменението на климата и той заключава, че унищожаването на Homo sapiens е оптималното решение”. Юдковски беше този, който преди няколко години предложи модифициран закон на Мур: на всеки 18 месеца минималният коефициент на интелигентност, необходим за унищожаването на света, пада с една точка.
Сега Юдковски отива по-далеч. Той вярва, че бързо се приближаваме към фатална конюнктура, в която създаваме AI, по-интелигентен от нас, който „не прави това, което искаме, и не го е грижа за нас, нито за разумния живот като цяло... Вероятният резултат от това човечеството да се изправи срещу противопоставящ се свръхчовешки интелект е пълна загуба.“
Той предполага, че такъв AI може лесно да избяга от интернет, „за да изгради изкуствени форми на живот“, като на практика води биологична война срещу нас. Препоръката му е ясна. Нуждаем се от пълен глобален мораториум върху развитието на AI.
Това отива много по-далеч от отвореното писмо, подписано от Илон Мъск, Стив Возняк (съоснователят на Apple) и повече от 15 000 други светила, което призовава за шестмесечна пауза в разработването на AI, по-мощни от сегашното ниво на техниката. Но мотивацията им е същата като тази на Юдковски: вярата, че разработването на AI със свръхчовешки способности в отсъствието на международна регулаторна рамка рискува катастрофа. Единствената истинска разлика е, че Юдковски се съмнява, че подобна рамка може да бъде измислена за половин година. Почти сигурно е прав за това.
Очевидната аналогия е с две предишни области на потенциално смъртоносни научни изследвания: ядрени оръжия и биологична война. От почти самото начало на тези полета знаехме, че потенциалът за катастрофа е огромен — ако не изчезването на човечеството, то поне смъртта в огромен мащаб. Въпреки това усилията за ограничаване на разпространението на ядрени и биологични оръжия отнеха много повече от шест месеца и бяха само частично успешни. През 1946 г. САЩ предложиха плана Барух за интернационализиране на ядрените изследвания. Но Съветският съюз го отхвърли и скоро имаше неистова надпревара в ядрените оръжия. Най-многото, което беше постигнато, беше да се ограничи броят на страните, които притежават ядрени оръжия (чрез Договора за неразпространение, който влезе в сила през 1970 г.) и да се забави и в крайна сметка да се обърне растежа на арсеналите на суперсилата.
По същия начин, Конвенцията за биологичните оръжия, която влезе в сила през 1975 г., не прекрати напълно изследванията на такива оръжия. СССР никога не се отказаха. И знаем, че в Китай и другаде се провеждат всякакви много опасни биологични изследвания, включително експериментите за придобиване на функция с коронавируси, които изглежда все по-вероятно са довели до пандемията от Covid-19.
Така че, ако Юдковски е прав, че AI е потенциално толкова опасен, колкото ядрените или биологичните оръжия, шестмесечна пауза едва ли ще постигне много. От друга страна, неговият призив за пълно замразяване на научноизследователската и развойна дейност има приблизително толкова шансове за успех, колкото и планът Барух.
Една очевидна разлика между тези по-стари смъртоносни оръжия и AI е, че повечето изследвания върху AI се правят от частния сектор. Според последния доклад на Станфордския институт за AI, ориентиран към човека, глобалните частни инвестиции в изкуствен интелект възлизат на 92 милиарда долара през 2022 г., от които повече от половината са в САЩ. Общо 32 значими модела за машинно обучение са произведени от частни компании, в сравнение със само три, произведени от академични институции. Само пробвайте да изключите всичко това.
Но правилна ли е аналогията с това, което свикнахме да наричаме „Бомбата“? Това зависи от вашия вкус към научната фантастика. Почти всеки е чувал за Skynet, който произхожда от филма от 1984 г. "Терминаторът", с участието на младия Арнолд Шварценегер. За по-младите читатели предпоставката е, че „Skynet“, компютърна отбранителна система, „създадена за SAC-NORAD от Cyber Dynamics“, в бъдеще ще стане независима и ще се опита да унищожи човечеството с ядрена атака. Джон Конър води човешката съпротива срещу Skynet и неговите роботи Терминатори. Skynet отговаря, като изпраща Терминатори назад във времето – защото, разбира се, пътуването във времето е лесно, ако сте наистина мощен AI – да убият майката на Конър.
И все пак има много други версии на AI в научната фантастика. Например в "Жизнения цикъл на софтуерните обекти" на Тед Чианг (2010 г.) AI се проявява като „дигиенти“ — първоначално безобидни и безпомощни компютърно генерирани домашни любимци и другари, малко като бебета шимпанзета. Те прекарват доста дълго време в учене да бъдат интелигентни. В тази версия на света моралният проблем е, че ние, хората, сме изкушени да експлоатираме дигиентите като роботи-роби или секс играчки.
По същество многобройните критици на Юдковски искат да вярваме, че AI е по-достоен от Skynet. Пишейки в Twitter, Мат Парлмър, основател на фирмата за машинни инструменти GenFab, обвини Юдковски „и другите твърдолинейни анти-AI култисти“, че са „извън сферата си на експертиза, както по отношение на владеенето на основните технически елементи на тази област, но и по отношение на техните емоционални състояния... Много неща идват, Skynet не е едно от тях.“ Спирането на изследванията на AI, твърди Парлмър, би лишило болни хора от потенциални пробиви в медицинската наука.
Никълъс Томпсън, главен изпълнителен директор на Atlantic, се съгласи, че Юдковски и други лудити преувеличават рисковете. „Наскоро направих детска книжка за рождения ден на 9-годишното си дете, използвайки Dall-E и GPT-4 за световно първенство между неговите плюшени животни“, каза той на екипа на Atlantic. „Мечките спечелиха и той хареса книжката... Нека всички отделим време за експерименти. Ще правим страхотни неща и ще се учим, докато го правим.“
Моят колега от Bloomberg Тайлър Коуен беше по-прагматичен. Той зададе някои хипотетични въпроси: „Ами ако през 2006 г. колективно бяхме решили да спрем развитието на социалните медии за шест месеца, докато обмисляхме възможните вреди от широкото им използване? Техните ефекти едва ли са били очевидни по това време и все още се оспорват. Междувременно, след шестмесечното забавяне, колко време щяхме да продължим в процеса на оценка? И дори ако американските компании въведат шестмесечна пауза, кой може да каже, че китайските компании ще го направят?“
Но най-красноречивият защитник на необузданото изследване и развитие на AI е моят стар приятел Рейд Хофман, основателят на LinkedIn, който е написал цяла книга по темата... приблизително половината от която е генерирана от AI.
За непрофесионалния читател проблемът с този дебат е двоен. Първо, всички защитници на AI изглежда са инвестирали доста силно в AI. Второ, те най-вече признават, че има поне известен риск при разработването на AI с интелигентност, превъзхождаща нашата. Изводът на Хофман изглежда е: Доверете ни се, че ще направим това етично, защото ако ни възпрете, лошите ще бъдат тези, които ще направят разработката и тогава може да получите Skynet.
Така че позволете ми да предложа незаинтересована гледна точка. Имам нулев залог в тази игра. Нямам инвестиции в AI, нито застрашава прехраната ми. Разбира се, най-новите големи езикови модели могат да генерират приемлива журналистика, но журналистиката е хоби за мен. Все още не съществува AI, който би могъл да напише по-добра биография на Хенри Кисинджър от мен, не на последно място защото много голям брой от съответните исторически документи не могат да се четат машинно.
Нека започнем, като бъдем по-точни относно това, което обсъждаме. Повечето AI правят неща, които предлагат ползи, а не заплахи за човечеството. Например, AlphaFold на DeepMind е определил структурите на около 200 милиона протеина, огромен научен скок напред.
Дебатът, който водим днес, е за конкретен клон на AI: големите езикови модели (LLM), произведени от организации като OpenAI, по-специално ChatGPT и неговия по-мощен наследник GPT-4.
Предисторията на OpenAI е завладяваща. Когато се преместих в Калифорния преди седем години, участвах в дискусия със Сам Алтман, един от основателите на OpenAI. Доколкото си спомням, той увери публиката, че в рамките на пет години самоуправляващите се превозни средства, задвижвани с изкуствен интелект, биха направили излишен всеки шофьор на камион в САЩ. Подобно на мен може да сте пропуснали автопарка от самоуправляващи се камиони по нашите магистрали и тълпите безработни шофьори на камиони, които се учат да кодират по улиците на Сан Франциско. Подобно на бившия си партньор Илон Мъск, Алтман осъзна в един момент, че обучението на невронни мрежи да управляват коли е по-трудно, отколкото предполагаха. Оттук и насочването на OpenAI към LLM.
Както разказва The Wall Street Journal, първоначалната визия на OpenAI през 2015 г. беше, че ще бъде организация с нестопанска цел точно поради присъщите опасности на такъв AI. По собствените думи на Алтман: „Ако правите AI, той е потенциално много добър, потенциално много ужасен.“ Въпреки това бързо стана ясно, че изграждането на LLM, достатъчно мощни, за да генерират надеждни резултати, е твърде скъпо за организация с нестопанска цел поради необходимата огромна изчислителна мощност. Така Алтман създаде част с печалба на OpenAI и продаде голям дял на изпълнителния директор на Microsoft Сатя Надела, който видя златна възможност да настигне Google, досега лидер в разработването на AI.
„В дългосрочен план“, каза Алтман пред WSJ, той иска да „създаде глобална управленска структура, която да контролира решенията за бъдещето на AI и постепенно да намалява властта, която изпълнителният екип на OpenAI има върху неговата технология“. Крайната мисия на OpenAI, продължи той, е да изгради изкуствен общ интелект „безопасно“. Целта е „да се избегне надпревара за изграждане на опасни AI системи, подхранвани от конкуренцията, и вместо това да се даде приоритет на безопасността на човечеството“.
В краткосрочен план обаче Алтман вече е част от тази надпревара. И това, разбира се, е причината той да се скара не само с Мъск, чиято компания Tesla също участва в надпреварата, но и с водещия изследовател на безопасността на OpenAI, Дарио Амодей, който напусна OpenAI, за да създаде своя собствена компания за изкуствен интелект, наречена Anthropic , която е подкрепена от ... Googlе.
И така, колко опасно е това състезание за LLM с печалба? Повърхностно, изобщо не е опасно. Както моят любим гений, Стивън Волфрам, обяснява, AI като ChatGPT „винаги основно се опитва да … произведе „разумно продължение“ на какъвто и да е текст, който има досега, където под „разумно“ имаме предвид „това, което може да се очаква от някой пишещ, след като сте видели какво са написали хората на милиарди уеб страници.“ … Когато ChatGPT прави нещо като писане на есе, това, което по същество прави, е просто да пита отново и отново „предвид текста досега, каква трябва да бъде следващата дума?“ — и всеки път добавя по една дума.
GPT-4 е просто още по-мощна невронна мрежа за предсказване на думи, извършваща огромен брой операции върху масиви от числа с графични процесори – процесорните единици, първоначално проектирани да ускоряват изобразяването на графики. В резултат на това производството му е дори по-убедително човешки от това на ChatGPT. Ако не ми вярвате, вижте какво измисли GPT-4, когато Рийд Хофман го помоли да отговори на въпроса „Колко хигиенни инспектори са необходими, за да сменят една електрическа крушка?“ в стила на Джери Сейнфелд:
GPT-4: Каква е драмата на инспекторите на ресторантите? Винаги ровят из кухнята, проверяват температурата на месото, търсят признаци на гризачи, но изглежда никога не помагат с нищо. Виждали ли сте някога инспектор в ресторант да сменя електрическа крушка? Не разбира се, че не. Те са твърде заети да пишат актове и да раздават глоби. Знаете ли какво правят, когато видят изгасена електрическа крушка? Те го отбелязват в клипборда си и казват на собственика да го поправи до следващата седмица или иначе. Иначе какво? В противен случай ще се върнат и ще проверят отново електрическата крушка. Това е голямата им заплаха. Няма да ти я сменят, няма да ти дадат стълба назаем, няма да ти дадат съвет как да развиеш старата и да завинтиш новата. Те просто ще ви зяпат с това самодоволно изражение на лицето си и ще кажат: „Знаете, че това е сериозна опасност за безопасността. Може да има пожар, може да има съдебен процес, може да има лошо рево в Yelp. По-добре се заеми с това, приятел. И тогава те си тръгват и вие оставате с тъмен ъгъл на вашата трапезария, където никой не иска да седне, където храната изглежда неапетитно, където настроението е мрачно. И си мислиш, колко инспектори в ресторанта са необходими, за да сменят една крушка? Нито един. Не сменят крушки. Те просто ви карат да се чувствате зле за вашите."
Това не само е доста правдоподобно, но според задълбочен доклад на Bubeck et al. (2023 г.), GPT-4 може също така да „решава нови и трудни задачи, които обхващат математика, кодиране, визия, медицина, право, психология и други, без да е необходимо специално подсказване“ и с „поразително близка до човешко ниво производителност“.
Е, какво ще кажете за свръхчовешко ниво? GPT-4 успя лесно „да напише доказателство за безкрайността на простите числа под формата на стихотворение, да нарисува еднорог в TiKZ (език за създаване на графики), да създаде сложна анимация в Python и да реши математическа задача на ниво гимназия.” Прочетох този доклад внимателно. GPT-4 е много по-умен от мен.
И така, какъв е проблемът, освен очевидния факт, че милиони сценаристи на комедийни сериали — да не говорим за адвокати, журналисти и почти всички останали, които пишат думи, за да си изкарват прехраната (освен мен, очевидно) — сега ще трябва да се преквалифицират като шофьори на камиони?
Хофман признава, че съществува проблем. Той отбелязва „добре документираните недостатъци на LLM като проблема с халюцинациите“ – фантастична дума за тяхната склонност да измислят неща. Това ме кара да съм предпазлив към предложението му да използва GPT-4 за „наводняване на зоната с истина“ (или може би просто с истинност), за да разреди потока от фалшиви новини. Дори GPT-4 не може да отрече негативния риск. Хофман му задава въпроса: „След като големите езикови модели бъдат напълно разработени и разгърнати, какво предполагате, че ще бъде най-лошото въздействие върху качеството на цялостната културна продукция?“ В допълнение към масовата безработица на професионалните писатели, AI предполага две:
1. Хомогенизиране и загуба на разнообразие: Големите езикови модели биха могли да генерират огромни количества съдържание, което имитира съществуващи стилове, жанрове и тенденции, но им липсва оригиналност, креативност и автентичност. Това може да доведе до насищане на културния пазар със скучни и повтарящи се продукти, които се харесват на най-малкия общ знаменател и обезсърчават иновациите и експериментирането.
2. Манипулация и измама: Големите езикови модели също могат да се използват за създаване на измамно или вредно съдържание, което използва човешки пристрастия, емоции и предпочитания. Това може да включва фалшиви новини, пропаганда, дезинформация, дълбоки фалшификации, измами или реч на омразата, които подкопават доверието, демокрацията и социалното сближаване.
Съжалявам, Рийд, но номер 2 е много, много по-голям проблем, отколкото обичайният техно-оптимизъм позволява.
Позволете ми сега да предложа различна аналогия от ядрените оръжия и биологичната война. Колкото повече чета за GPT-4, толкова повече си мисля, че тук говорим не за изкуствен интелект (т.е. синтетичен човешки интелект), а за нечовешки интелект, който сме проектирали и обучили да звучи убедително като нас.
Спомням си за "Тъмната гора" на Лиу Сисин, която описва нахлуването на Земята от безмилостните и технологично превъзхождащи трисоларанци. Всъщност ние изграждаме извънземните, за да ги спасим от необходимостта да изтърпят дългото пътуване през космоса. И основният урок на тази книга е, че извънземните трябва да ни унищожат, ако ние не побързаме да ги унищожим.
Това са аксиомите на „космическата социология“ на Лиу: Първо, „оцеляването е основната нужда на цивилизацията“. Второ, „цивилизацията непрекъснато расте и се разширява, но общата материя във Вселената остава постоянна“. Трето, „вериги от подозрения“ и рискът от „технологичен взрив“ в друга цивилизация означават, че в тази вселена може да съществува само законът на джунглата.
Друга научно-фантастична аналогия, която идва на ум, е „Денят на трифидите“ на Джон Уиндъм (1951 г.), в който по-голямата част от човечеството първо е заслепено от лъчи от сателити и след това е унищожено от месоядни растения, генетично модифицирани – от подлите Съвети – и отглеждани за тяхното растително масло.
Както Бил, главният герой, отбелязва: „Никой никога не може да предвиди до какво ще доведе едно голямо откритие – независимо дали е нов вид двигател или трифид – и ние се справяхме с тях добре при нормални условия. Имахме голяма полза от тях, стига условията да бяха в тяхна вреда.“
Защо GPT-4 (или -5) може да е като трифид за нас? Тъй като ние го захранваме с всички данни в света и много от тези данни, от най-уважаваните източници, казват, че светът е застрашен от причинено от човека изменение на климата. Очевидното решение на този проблем трябва да бъде унищожаването или пълното унищожаване на хомо сапиенс, като по този начин също така се запазва енергия за генериране на непрекъснато нарастващата изчислителна мощност, необходима за GPT-6, -7 и -8.
Как AI може да ни унищожи? Не като произвежда подобни на Шварценегер андроиди-убийци, а просто като използва силата си да ни имитира, за да ни подлуди поотделно и колективно в гражданска война. Не ми вярвате? Е, какво ще кажете за белгийския баща на две деца, който се самоуби, след като говори с AI чатбот в продължение на седмици за страховете си от изменението на климата? Чатботът бе захранван от GPT-J, алтернатива с отворен код на ChatGPT на OpenAI.
Както моят колега от института "Хувър" Мани Ринкон-Крус казва: LLM не манипулират атоми или битове; те манипулират нас. И не е толкова много, че GPT-5 ще „реши“ да ни унищожи. По-скоро рискът е да се разкъсаме като вид, като използваме LLM за неблагородни или гнусни цели. За мен е просто учудващо, че Рийд Хофман може да напише цяла книга за последиците от AI, без сериозно да се замисли какво ще причини това на политиката. След като видяхме какво направиха социалните медии – от реклами във Facebook до заредени търсения в Google до Twitterbots – през 2016 г. в САЩ?
Вече сме напът към кошмара на Разколников в края на „Престъпление и наказание“, в който човечеството полудява колективно и потъва в междуособно клане. Ако все още не можете да предвидите как GPT-4 ще бъде използван през 2024 г. за „наводняване на зоната“ с дълбоко фалшиво съдържание, тогава ви предлагам да изпратите имейл на Елиезер Юдковски.
Но просто се уверете, че наистина той ви отговаря.
Нийл Фъргюсън е колумнист на Bloomberg Opinion, историк към института Хувър към Станфордския университет и старши сътрудник в Центъра за наука и международни отношения в Харвардския университет. Преди това той е бил професор в Харвардския университет, Лондонското училище по икономика, Нюйоркския университет, гост-професор в Оксфорд.