Служители на Google поставят под въпрос полезността на чатбота Bard

Лидерите на компанията, натоварени с разработването на чатбота Bard, са несигурни за потенциала на инструмента, като призовават потребителите за постоянна обратна връзка

18:00 | 15 октомври 2023

Автор: Дейви Алба

Снимка: Bloomberg L.P.

В продължение на месеци Google и Discord Inc. на Alphabet Inc. провеждат чат само с покани за интензивни потребители на Bard - чатбот на Google, работещ с изкуствен интелект. Продуктовите мениджъри, дизайнерите и инженерите на Google използват форума, за да обсъдят открито ефективността и полезността на инструмента за изкуствен интелект, като някои се питат дали огромните ресурси, вложени в разработването, си заслужават.

"Моето правило е да не се доверявам на резултатите от LLM, освен ако не мога да ги проверя независимо", пише Доминик Рабей, старши продуктов мениджър за Bard, в чата в Discord през юли, като се позовава на големи езикови модели - системи за изкуствен интелект, обучени на огромни количества текст, които са градивните елементи на чатботове като Bard и ChatGPT на OpenAI Inc. "Бих искал да стигнем дотам, че да можете, но все още не е така."

"Най-голямото предизвикателство, за което все още мисля, е: за какво са наистина ефективни LLM от гледна точка на полезността?", сподели през август Кати Пърл, ръководител на потребителското изживяване в Google за Bard.

Откакто през март Google пусна Bard, своя отговор на популярния бот ChatGPT на OpenAI, тя добавя постоянен поток от нови функции към продукта, включително възможността инструментът с изкуствен интелект да анализира снимки и да генерира отговори на запитвания на десетки езици. Миналият месец Google представи най-амбициозната си актуализация досега - свързване на Bard с най-популярните си услуги, като Gmail, Maps, Docs и YouTube. Компанията пусна интеграциите на приложенията, като започна с английския език на 19 септември.

С по-нататъшното интегриране на Bard в основните продукти на Google, компанията също така е подложена на оплаквания, че инструментът генерира измислени факти и дава потенциално опасни съвети. В същия ден, в който компанията въведе разширения за приложения, тя обяви и бутон за търсене в Google в Bard, за да помогне на хората да проверяват двойно верността на отговорите, генерирани от изкуствения интелект, спрямо резултатите от нейната търсачка.

Други експерти изразиха загриженост относно условията на труд на хилядите нископлатени изпълнители, които обучават Bard, въз основа на това, което работниците казват, че са сложни инструкции, които трябва да изпълнят за минути. Както в компанията, така и извън нея, гигантът в интернет търсенето е критикуван, че предоставя нискокачествена информация в надпреварата да не изостава от конкуренцията, като същевременно пренебрегва етичните проблеми.

За Google е изключително важно да гарантира успеха на своя чатбот с изкуствен интелект Bard. Компанията е лидер в областта на търсенето - нейният финансов ресурс, който генерира около 80% от приходите на компанията майка Alphabet. С появата на генеративния изкуствен интелект обаче, доминиращата позиция на Google в областта на търсенето бе поставена под въпрос, като някои прогнозират, че новите и шумни инструменти на OpenAI и други стартъпи могат да изместят силната позиция на Google на пазара.

Двама участници в общността Bard на Google в чат платформата Discord споделиха подробности за дискусиите в сървъра с Bloomberg от юли до октомври. Десетки съобщения, прегледани от Bloomberg, дават уникален поглед върху начина, по който се използва и критикува Bard от тези, които го познават най-добре, и показват, че дори лидерите на компанията, натоварени с разработването на чатбота, изпитват противоречия относно потенциала на инструмента. В продължение на отзвука си за "недоверието" към отговорите, генерирани от големи езикови модели, Рабие предлага да се ограничи използването на Bard от хората до "творчески приложения/мозъчна атака". Използването на Bard за кодиране също е добър вариант, казва Рабие, "тъй като неизбежно проверявате дали кодът работи!"

Дебатът за ограниченията и потенциала на Bard в канала Discord на Google е "рутинна и изненадваща" част от разработването на продукта, се казва в изявление на Google. "Откакто стартирахме Bard като експеримент, нямахме търпение да чуем отзивите на хората за това какво им харесва и как можем да подобрим изживяването", допълва Дженифър Родстрьом, говорител на Google. "Нашият канал за дискусии с хората, които използват Discord, е един от многото начини, по които правим това. "Компанията сподели, че е стартирала сървъра Discord като общност с покани, преди да го направи по-широко достъпен."

При стартирането на Bard компанията посочи ограниченията му, включително възможността инструментът с изкуствен интелект да генерира убедително аудио лъжи. Всеки път, когато някой използва Bard, Google включва отказ от отговорност в инструмента, който гласи: "Bard може да показва неточна или обидна информация, която не представлява възгледите на Google". Представители на компанията също така уточниха, че преди въвеждането на Bard Google е провела вътрешни тестове с противници, които са имали за цел да проверят как ще реагира на потенциални лоши играчи, и че компанията очаква да научи повече, когато обществеността продължи да го използва.

Сървърът Discord беше създаден още през юли, когато бяха изпратени хиляди покани на редовни потребители на Bard извън компанията. "Споделяйте мисли и идеи директно с екипа на Bard, получавайте ранни известия за актуализации на продукти и се свързвайте с други ентусиасти на изкуствения интелект", се казва в поканата, изпратена на 10 юли. В описанието на сървъра каналът е наречен "официална" общност за потребителите на Bard, а старши продуктовият директор на Bard Джак Кравчик изпрати селфи видео на общността при стартирането на инструмента в Европа.

От Discord не са отговорили на запитването за коментар относно чата.

В момента в онлайн общността членуват почти 9000 души, а няколко от модераторите на чата са служители на Discord. Повечето дискусии се въртят около Bard и изкуствения интелект. Някои потребители направиха фантастични и вероятно погрешни твърдения за възможностите на инструмента, включително, че са построили компютър за квантов шах с помощта на Bard или че могат да използват бота, за да търсят в мрежата данни за коефициенти за бейзболни залагания и да изпълняват сложни симулации. (Служители на Google се включиха в чата в Discord, за да кажат, че Bard не разполага с тези възможности.)

Даниел Грифин, наскоро завършил докторантура в Калифорнийския университет в Бъркли, който изучава търсенето в интернет и се присъединява към групата Discord през септември, казва, че не е необичайно софтуерът с отворен код и малките инструменти на търсачките да имат неформални чатове за ентусиасти. Но Грифин, който критикува начина, по който Google формира обществените интерпретации на своите продукти, заяви, че се чувства неудобно от факта, че чатът е донякъде потаен.

Чатът на Bard Discord може да е просто "неразкрита, масирана и дълготрайна фокус група или общност от ентусиасти на изкуствения интелект, но силата на Google и важността на откритото обсъждане на тези нови инструменти ме накараха да се замисля", добави той, като отбеляза, че други усилия на компанията за обратна връзка с общността, като например Google Search Liaison, са по-отворени за обществеността.

Във форума на Bard потребителите повдигнаха други наболели въпроси, свързани с Google, като дадоха представа за това как технологичният гигант работи усилено, за да смекчи обществените критики. В средата на юли член на групата повдига темата за проекта "Нимбус" - договор на стойност 1,2 млрд. долара между Google и Amazon.com Inc. за снабдяване на израелската армия с инструменти за изкуствен интелект - според преглед на съобщенията, направен от Bloomberg. Членът е изразил загриженост относно ролята на Google в създаването на условия за смъртоносни употреби на изкуствен интелект и бързо е бил изключен от групата, а модераторите са казали на потребителите, че трябва да избягват "политика, религия или други чувствителни теми" в чата.

Същият месец друг потребител зададе въпроса защо Google е разчитала на "нископлатени и претоварени с работа изпълнители", за да прецизира отговорите на Bard. Въпреки че компанията публично заяви, че не разчита само на изпълнители за подобряване на изкуствения интелект, който захранва Bard, а също така има редица други методи за подобряване на неговата точност и качество, Трис Уаркентин, директор по управление на продуктите на Bard, отговори, като подчерта значението на човешкия принос за обучението на алгоритмите на Bard.

"Човешкото усъвършенстване е от решаващо значение, за да може Bard да бъде продукт за всички. Алтернативата е потребителите да нямат възможност да направляват функционалността на продукта, което според мен би било огромна грешка. Не се нуждаем от продукт "кула на мечтите" - нуждаем се от нещо, което може да работи за всички!", пише Уаркентин в чата.

Хората обменият мнения и за последиците от огромните разходи, необходими за поддържането на големи езикови модели. "Работи ли се по намаляването на огромните разходи за ресурси на LLM?" - попита един от потребителите в сървъра Discord. "Особено потреблението на вода за заявка и огромната нужда от графични процесори (за чието производство е необходим интензивен добив)?"

"Гледам на това като на проектирането на чипове или суперкомпютри", отговаря Пърл, ръководител на потребителското изживяване в Bard. "Вярвам, че ще продължим да намираме начини да постигаме същото поведение с по-малко средства"

В чата се появяват и опасения относно точността на Bard. Продуктовият мениджър Уаркентин подчерта в дискусия за измислиците на Bard, че Google е постигнала напредък след пускането на инструмента за изкуствен интелект. "Много сме фокусирани върху намаляването на халюцинациите и увеличаването на фактите - това е един от ключовите ни показатели за успех", казва той. "От стартирането на програмата досега сме я подобрили доста, но работата продължава, така че, моля, не спирайте да опитвате и ни изпращайте обратна връзка, когато нещо не е наред!"

В края на септември официалният акаунт на Bard в Discord публикува резюме с въпроси и отговори на събитие "Офис часове", което имаше за цел да отговори на въпросите на общността относно новообявените интеграции на Bard с приложения на Google. В отговор на въпрос дали има вероятност Бард да се отклони от реалността, докато обобщава имейли, официалният акаунт на Бард заяви: "Направихме всичко възможно това да се случва възможно най-малко, но не е изключено, тъй като Bard все още се учи и развива.“ Хората трябва да проверяват източниците, които Bard използва, и да се позовават на тях. "Ако Bard има халюцинации с някоя от интеграциите, моля, уведомете ни в канала за доклади за грешки!"

Рабиеж, продуктов мениджър на Bard, също така подчерта значението на новия бутон "Повторна проверка на отговорите" в инструмента за изкуствен интелект. "Това ще подчертае неща, които вероятно не са правилни в оранжев цвят", обяснява той през октомври. Мениджърът също така повтори, че Bard не разбира истински текста, който приема, а инструментът просто отговаря с повече текст в зависимост от подсказките на потребителя: "Не забравяйте, че Bard, както всеки голям езиков модел, е генеративен - той не търси неща и не ги обобщава за вас, а генерира текст."

Други служители изразиха двусмислено отношение към генеративния изкуствен интелект в по-широк смисъл. "Ако се отдръпна от цялостното си негативно отношение към въздействието, което може да окаже Gen AI, смятам, че образованието е една от най-интересните и възможни области за допринасяне за тази технология", споделя Джеймс, дизайнер на потребителско изживяване за Bard, в общността Discord.

Институциите от висшето и средното образование могат да използват технологията, за да "помогнат за създаването на по-богат опит за учениците чрез почти 24-часов достъп до помощ по различни предмети, след като общият уплах от нея отмине", допълва Джеймс.