OpenAI притежава инструмент за залавяне на ученици, които мамят с ChatGPT

OpenAI разполага с метод за надеждно откриване, когато някой използва ChatGPT за писане на есе или научна работа. Компанията не го е публикувала, въпреки широко разпространените опасения, че учениците използват изкуствен интелект, за да мамят, пише The Wall Street Journa.

Проектът е затънал във вътрешни дебати в OpenAI от около две години и е готов за пускане от около година, според запознати с въпроса и вътрешни документи, прегледани от The Wall Street Journal. "Това е просто въпрос на натискане на един бутон", казва един от хората.

В опитите си да решат какво да правят, служителите на OpenAI се колебаят между заявения ангажимент на стартъпа за прозрачност и желанието им да привлекат и задържат потребители. Едно от проучванията, които компанията проведе сред лоялните потребители на ChatGPT, показа, че почти една трета от тях биха се отдръпнали от използваната технология след старта на новия инструмент против измама.

Говорителка на OpenAI заяви, че компанията се опасява, че инструментът може да засегне непропорционално групи като тези, за които английският език не е майчин.

"Методът за създаване на водни знаци за текст, който разработваме, е технически обещаващ, но има важни рискове, които преценяваме, докато проучваме алтернативи", каза тя. "Смятаме, че обмисленият подход, който сме предприели, е необходим предвид сложността на въпроса и вероятното му въздействие върху по-широката екосистема извън OpenAI."

Служители, които подкрепят пускането на инструмента, включително тези, които са помогнали за разработването му, заявиха вътрешно, че тези аргументи бледнеят в сравнение с доброто, което подобна технология може да направи.

Генериращият изкуствен интелект може да създаде безплатно цяло есе или научна статия за няколко секунди въз основа на едно-единствено задание. Учители и преподаватели казват, че отчаяно търсят помощ, за да се справят със злоупотребите с него.

"Това е огромен проблем", казва Алекса Гутерман, гимназиален учител по английски език и журналистика в Ню Йорк. "Това е нещо, за което всеки учител, с когото работя, говори."

Неотдавнашно проучване на Центъра за демокрация и технологии, организация с нестопанска цел, занимаваща се с технологична политика, установи, че 59 % от учителите в средните и висшите училища са сигурни, че някои ученици са използвали изкуствен интелект, за да си помагат с учебната работа, което е със 17 пункта повече в сравнение с предходната учебна година.

Главният изпълнителен директор на OpenAI Сам Алтман и главният технологичен директор Мира Мурати са участвали в дискусиите за инструмента за борба с ученето. Алтман е насърчавал проекта, но не е настоявал за пускането му, твърдят някои запознати.

Собственикът на " Wall Street Journal" News Corp има партньорство за лицензиране на съдържание с OpenAI.

99,9% ефективност
ChatGPT се захранва от система с изкуствен интелект, която предвижда коя дума или фрагмент от дума, известен като токен, трябва да последва в изречението. Обсъжданият в OpenAI инструмент за борба с изкривяването ще промени леко начина на подбор на лексемите. Тези промени ще оставят модел, наречен воден знак.

Тези водни знаци са незабележими за човешкото око, но могат да бъдат открити с помощта на технологията за откриване на OpenAI. Детекторът дава оценка за това колко вероятно е целият документ или част от него да е написан от ChatGPT.

Според вътрешните документи водните знаци са 99,9% ефективни, когато ChatGPT е създала достатъчно нов текст.

"По-вероятно е утре слънцето да се изпари, отколкото тази курсова работа да не е била маркирана с воден знак", казва Джон Тикстън, изследовател от Станфорд, който е част от екип, разработил подобен метод за маркиране на текст с изкуствен интелект.

Въпреки това служителите изразиха опасения, че водните знаци могат да бъдат изтрити чрез прости техники, като например да се накара Google да преведе текста на друг език и след това да го върне обратно или да се накара ChatGPT да добави емоджита към текста и след това ръчно да ги изтрие, каза служител на OpenAI, запознат с въпроса.

В компанията има широко съгласие, че определянето на това кой може да използва този детектор ще бъде предизвикателство. Ако твърде малко хора го имат, инструментът няма да е полезен. Ако твърде много хора получат достъп, лошите актьори могат да разшифроват техниката на компанията за създаване на водни знаци.

Служителите на OpenAI са обсъждали предоставянето на детектора директно на преподаватели или на външни компании, които помагат на училищата да идентифицират написани с изкуствен интелект работи и плагиати.

Google е разработила инструмент за създаване на водни знаци, който може да открива текст, генериран от изкуствения интелект Gemini. Наречен SynthID, той е в процес на бета тестване и не е широко достъпен.

OpenAI разполага с инструмент за определяне на това дали дадено изображение е създадено с помощта на неговия генератор на текст в изображение DALL-E 3, който беше пуснат за тестване през пролетта на тази година. Компанията е дала приоритет на аудио- и визуалния воден знак пред текста, тъй като вредите са по-значими, особено в натоварената година на избори в САЩ, казва служител, запознат с въпроса.

Есета за Батман
През януари 2023 г. OpenAI публикува алгоритъм, предназначен за откриване на текст, написан от няколко модела на изкуствен интелект, включително нейния собствен. Но той успяваше само в 26% от случаите и OpenAI го изтегли седем месеца по-късно.

Съществуват и други инструменти, разработени от външни компании и изследователи, за откриване на текст, създаден с помощта на ИИ, и много учители казват, че са ги използвали. Но понякога те не успяват да открият текст, написан от усъвършенствани големи езикови модели, и могат да доведат до фалшиви положителни резултати.

"Отначало учениците си мислеха, че разполагаме с всички тези вълшебни трикове, за да разберем дали използват ИИ", казва Майк Кентц, консултант по ИИ за преподаватели, който наскоро преподаваше в частна гимназия в Джорджия. "Към края на годината... те си казаха: "Чакай малко, учителят ми си няма и най-малка идея".

Някои учители насърчават учениците да използват ИИ, за да им помагат в проучванията или да дават обратна връзка за идеите си. Проблемът е, когато учениците възлагат на приложение като ChatGPT да свърши цялата работа и дори не знаят какво предават.

Миналата година Джош Маккрейн, професор по политически науки в Университета на Юта, дава на студентите задача за писане, която включва, с нечетлив дребен шрифт, инструкции да включат препратка към Батман. Ако те копират и поставят задачата в AI, инструкциите ще бъдат включени.

Разбира се, шепа студенти предават работи с безсмислени препратки към Батман. Занапред Маккрейн променя задачите за писане, за да се съсредоточи повече върху актуални събития, с които ИИ е по-малко запознат, и моли учениците да не възлагат работата си на ИИ. "Тук се опитвам да внуша на учениците, че това е наистина важно: Трябва да научите тези неща", казва той.

Години на дебати
Дискусиите за инструмента за водни знаци са започнали преди OpenAI да стартира ChatGPT през ноември 2022 г. и са били постоянен източник на напрежение, казват запознатите. Той е разработен от Скот Ааронсън, професор по компютърни науки, който през последните две години е работил по безопасността в OpenAI, докато е бил в отпуск от Тексаския университет.

В началото на 2023 г. един от съоснователите на OpenAI, Джон Шулман, изложи плюсовете и минусите на инструмента в споделен документ в Google. След това ръководителите на OpenAI решават, че ще потърсят мнението на редица хора, преди да предприемат по-нататъшни действия.

През следващата година и половина ръководителите на OpenAI многократно обсъждат технологията и търсят нови данни, за да решат дали да я пуснат.
През април 2023 г. OpenAI поръча проучване, което показа, че хората по света подкрепят идеята за инструмент за откриване на изкуствен интелект с разлика четири към едно, показват вътрешните документи.

Същия месец OpenAI проведе проучване сред потребителите на ChatGPT и установи, че 69% от тях смятат, че технологията за откриване на измами ще доведе до фалшиви обвинения в използване на ИИ. Близо 30 % заявяват, че биха използвали ChatGPT по-малко, ако тя разполага с водни знаци, а конкурентът - не.

Повтаряща се вътрешна загриженост беше, че инструментът за борба с измамите може да навреди на качеството на писане на ChatGPT. OpenAI проведе тест по-рано тази година, който установи, че водните знаци не влошават работата на ChatGPT, твърдят запознати.

"Способността ни да защитим липсата на воден знак за текст е слаба сега, когато знаем, че той не влошава резултатите", заключават служителите, участвали в тестовете, според вътрешните документи.

В началото на юни висши служители на OpenAI и изследователи се срещнаха отново, за да обсъдят проекта. Групата се съгласила, че технологията за водни знаци работи добре, но резултатите от проучването на потребителите на ChatGPT от миналата година все още били натежали.

Според хора, запознати със срещата, служителите са заявили, че компанията трябва да разгледа други подходи, които са потенциално по-малко противоречиви сред потребителите, но не са доказани.

Освен това те заявиха, че OpenAI се нуждае от план до тази есен, за да повлияе на общественото мнение относно прозрачността на изкуствения интелект, както и на потенциалните нови закони по темата, показват вътрешните документи.

"Без това рискуваме доверието в нас като отговорни участници", се казва в резюме на срещата през юни.

Още по темата

Apple отложи пускането на ъпдейта с изкуствения интелект

OpenAI отлага стартирането на гласов асистент, заради проблеми с безопасността

Apple ще "плаща" за ChatGPT чрез дистрибуция