Забавянето при AI е възможност за всички останали

Много AI изследователи вече проучват нови подходи за подобряване на моделите, които не включват просто добавяне на повече данни и изчислителна мощност

09:58 | 22 ноември 2024

Автор: Парми Олсън

Снимка: Bloomberg.com

Бумът на изкуствения интелект (AI) бе изграден върху увереността, че генеративните модели ще продължат да се подобряват експоненциално. Спойлер: това вече не се случва.

С прости думи, „закони за мащабиране“ казваха, че ако дадете повече данни и изчислителна мощност на AI модел, неговите възможности ще растат непрекъснато. Но последните публикации показват, че това вече не е така, а водещите разработчици на AI откриват, че моделите им не се подобряват толкова драматично, колкото преди.

Според Bloomberg News, моделът „Orion“ на OpenAI не е значително по-добър в програмирането от предишния водещ модел на компанията, GPT-4. Междувременно Alphabet Inc. (Google) отбелязва само минимални подобрения в своя софтуер Gemini. Anthropic, основен конкурент на двете компании, изостава със своя дългоочакван модел Claude.

Изпълнителни директори на OpenAI, Anthropic и Google ми казаха през последните месеци, че развитието на AI не се е забавило. Но те трябваше да го кажат. Истината е, че дългогодишните страхове от намаляваща възвръщаемост в генеративния AI, предсказани дори от Бил Гейтс, започват да се реализират. Иля Суцкевер, AI икона, която популяризира подхода „по-голямото е по-добро“ при изграждането на големи езикови модели, наскоро заяви пред Reuters, че този подход е достигнал тавана си. „2010-те години бяха ерата на мащабирането“, каза той. „Сега отново сме в ерата на чудеса и открития.“

„Чудеса и открития“ звучи положително, но може лесно да се интерпретира като „не знаем какво да правим по-нататък“. Това, разбираемо, може да предизвика тревога у инвеститорите и бизнеса, които се очаква да изразходват $1 трилион за инфраструктура, която да реализира обещанията на AI да трансформира всичко. Според разследване на Bloomberg News, банки на Уолстрийт, хедж фондове и частни инвестиционни фирми вече харчат милиарди за изграждане на огромни центрове за данни.

Това означава ли, че те поемат ужасен риск? Не точно.

Няма съмнение, че основните печеливши от бума на AI са най-големите технологични компании. Тримесечните приходи от облачни услуги за Microsoft Corp., Google и Amazon Inc. нарастват стабилно, а пазарната капитализация на тези компании, заедно с Nvidia Corp., Apple Inc. и Meta Platforms Inc., е скочила с общо $8 трилиона през последните две години. Възвръщаемостта на инвестициите за всички останали — техните клиенти — обаче отнема повече време.

Въпреки това, спадът в пазарната истерия около AI може да бъде полезен, както се е случвало с предишни иновации. Това е така, защото технологиите обикновено не удрят стена и не спират, а преминават през S-крива. Идеята за S-кривата е, че първоначалният прогрес отнема години, преди да се ускори бързо — както видяхме през последните две години с генеративния AI — и след това започва да се забавя и, най-важното, да се развива.

Критиците през годините, например, редовно обявяваха „смъртта“ на закона на Мур, точно преди производствен пробив при чиповете да го изтласка напред. Развитието на самолетите вървеше с ледникова скорост, докато преходът от витла към реактивни двигатели през късните 50-те години не доведе до огромен напредък — преди технологията да изглежда, че е достигнала таван. Но както производството на чипове, така и развитието на авиацията не спряха, а се трансформираха. Пътническите самолети станаха далеч по-икономични, безопасни и евтини за опериране, дори и да не са много по-бързи от тези през 60-те години.

Подобно плато за AI и законите за мащабиране може също да означава нов подход към разработката и измерването на успеха, който досега бе твърде фокусиран върху възможностите, а не върху други области като безопасност. Някои от най-напредналите генеративни AI модели изостават в критични области като сигурност и справедливост, според скорошно академично проучване, което измерваше съответствието им с предстоящия AI закон на Европа.

Много AI изследователи вече проучват нови подходи за подобряване на моделите, които не включват просто добавяне на повече данни и изчислителна мощност. Един такъв подход е подобряване на модела след неговото обучение, в така наречената фаза на инференция. Това включва даване на модела повече време за обработка на различни възможности, преди да даде отговор, както направи OpenAI с най-новия си модел, o1, който е по-добър в „разсъждаването“.

Красотата на S-кривата е, че дава на всички останали време за дишане, вместо постоянно да се надпреварват за най-новата технология, която ще им даде предимство пред конкурентите. Компании, които експериментират с генеративния AI и се борят да повишат продуктивността си, сега имат време да преработят своите процеси, за да се възползват по-добре от настоящите AI модели, които вече са мощни. (Не забравяйте, че отне години, докато бизнесът се организира около компютрите през 80-те години.)

Професор Ерик Бриньолфсон от Станфордския университет посочва в писанията си за „парадокса на продуктивността“, че продукцията често изглежда забавена или намаляваща, когато се появят големи нови технологии, преди да скочи рязко. Пауза за AI дава на бизнеса повече пространство в тази важна инвестиционна фаза.

Това също така дава на регулаторите време да проектират по-ефективни рамки. AI законът на Европейския съюз, който компаниите ще трябва да спазват от 2026 г., трябва да бъде по-конкретен в определянето на вредите. Докато организациите по стандартизация вършат своята работа, е полезно, че новите модели, водещи до неочаквани проблеми, няма да залеят пазара скоро.

Генеративният AI беше на влак-стрела през последните две години, а инерцията очевидно бе доходоносна за технологичните гиганти. Забавяне на станцията осигурява така необходимата почивка за всички останали.