Гари Генслър, главен регулатор на ценните книжа в САЩ, спомена филма на Скарлет Йохансон и Хоакин Финикс „Her“ миналата седмица, за да обясни притесненията си относно рисковете от изкуствения интелект във финансите. Парични мениджъри и банки бързат да приемат шепа инструменти с генеративен AI и провалът на един от тях може да причини хаос, точно както AI, изигран от Йохансон, остави героя на Финикс и много други с разбито сърце.
Проблемът с критичната инфраструктура не е нов, но големите езикови модели като ChatGPT на OpenAI и други модерни алгоритмични инструменти представляват несигурни и нови предизвикателства, включително автоматизирано тайно споразумение за цените или нарушаване на правилата и прикриване на истината след това. Предсказването или обяснението на действията на AI модел често е невъзможно, което прави нещата още по-трудни за потребителите и регулаторите.
Комисията по ценните книжа и борсите, която Генслър председателства, и други наблюдатели са проучили потенциалните рискове от широко използвани технологии и софтуер като големите компании за облачни изчисления и почти вездесъщата платформа за управление на риск и портфолио Aladdin на BlackRock Inc. Глобалният ИТ срив от това лято, причинен от фирмата за киберсигурност CrowdStrike Holdings Inc., беше жестоко напомняне за потенциалните капани.
Само преди няколко години регулаторите решиха да не етикетират такава инфраструктура като „системно важна“, което можеше да доведе до по-строги правила и надзор около нейното използване. Вместо това миналата година Съветът за финансова стабилност, международен панел, изготви насоки, за да помогне на инвеститорите, банкерите и надзорните органи да разберат и наблюдават рисковете от неизправности в критични услуги на трети страни.
Въпреки това, генеративният AI и някои алгоритми са различни. Генслър и колегите му в световен мащаб играят на наваксване. Едно притеснение относно Aladdin на BlackRock беше, че може да повлияе на инвеститорите да правят едни и същи видове залози по един и същи начин, водейки до нежелано стадно поведение. Мениджърите на фондове твърдят, че тяхното вземане на решения е отделно от подкрепата, която Aladdin предоставя, но това не е така с по-сложните инструменти, които могат да правят избор от името на потребителите.
Когато LLM и алгоритмите се обучават на едни и същи или подобни данни и станат по-стандартизирани и широко използвани за търговия, те биха могли много лесно да следват стратегии за копиране на чужди решения, оставяйки пазарите уязвими към резки обрати. Алгоритмичните инструменти вече са обвинявани за светкавични сривове, като например при йената през 2019 г. и британския паунд през 2016 г.
Но това е само началото: докато машините стават по-сложни, рисковете стават по-странни. Има доказателства за тайно споразумение между алгоритмите - умишлено или случайно не е съвсем ясно - особено сред тези, изградени с обучение с подсилване. Едно проучване на автоматизирани инструменти за ценообразуване, използвани от търговците на бензин в Германия, установи, че те са научили стратегии за мълчаливо коопериране, които повишават маржовете на печалбата.
След това има откровена нечестност. Един експеримент инструктира GPT4 на OpenAI да действа като анонимен търговец на фондовия пазар в симулация и получи сочна вътрешна информация, която той търгува, въпреки че му беше казано, че това не е разрешено. Нещо повече, когато беше разпитан от своя „мениджър“, моделът скри факта.
И двата проблема произтичат отчасти от поставянето на единична цел на AI инструмента, като например „максимизиране на печалбите“. Това също е човешки проблем, но AI вероятно ще се окаже по-добър и по-бърз в това по начини, които са трудни за проследяване. Тъй като генеративният AI се развива в автономни агенти, на които е позволено да изпълняват по-сложни задачи, те биха могли да развият свръхчовешки способности да следват буквата, а не духа на финансовите правила и разпоредби, както изследователи от Банката за международни разплащания (BIS) описаха в работен документ това лято.
Много алгоритми, инструменти за машинно обучение и LLM са черни кутии, които не работят по предвидими, линейни начини, което прави техните действия трудни за обяснение. Изследователите на BIS отбелязаха, че това може да направи много по-трудно за регулаторите да забележат манипулиране на пазара или системни рискове, докато не настъпят последствията.
Другият труден въпрос, който това повдига: Кой е отговорен, когато машините правят лоши неща? Участниците в конференция за технологии за търговия с валута в Амстердам миналата седмица обсъждаха точно тази тема. Един търговец се оплака за собствената си загуба на роля в свят на все по-автоматизирана търговия, като каза пред Bloomberg News, че той и колегите му са станали „просто алго диджеи“, като само избират кой модел да завъртят.
Но диджеят подбира мелодията, а друг участник се тревожи кой носи вината, ако агент с изкуствен интелект предизвика хаос на пазарите. Дали ще бъде търговецът, фондът, който го наема, собственият му отдел за съответствие или ИТ отдела, или софтуерната компания, която е доставила модела?
Всички тези неща трябва да бъдат разработени и въпреки това AI индустрията развива своите инструменти и финансовите компании бързат да ги използват по безброй начини възможно най-бързо. Най-безопасните опции вероятно са да се задържат за конкретни и ограничени задачи за възможно най-дълго време. Това би помогнало да се гарантира, че потребителите и регулаторите имат време да научат как работят и какви ограничения биха могли да помогнат - и ако нещата се объркат, щетите също ще бъдат ограничени.
Предлаганите потенциални печалби означават, че инвеститорите и търговците ще се борят да се сдържат, но трябва да се вслушат в предупреждението на Генслър. Учете се от Хоакин Финикс в Her и не се влюбвайте в машините си.
Пол Дж. Дейвис е колумнист на Bloomberg, който пише за банковото дело и финансите. Преди това е бил репортер в Wall Street Journal и Financial Times.