Охота на электроовец. Большая книга искусственного интеллекта - Марков Сергей Николаевич
Ещё одна перспективная область исследований — применение на этапе предобучения языковой модели не только задачи предсказания следующего токена, но и других задач. В настоящее время многие команды заняты поиском оптимального набора задач для предобучения языковых моделей. Для архитектур типа «кодировщик — декодер», подобных модели T5, здесь можно отметить такие модели, как UL2 [2639] от исследователей из Google и FRED-T5, созданную в нашей команде группой под руководством Дмитрия Змитровича.
Подход, лежащий в основе этих моделей, был предложен авторами UL2 и получил название «смесь денойзеров» [mixture of denoisers], denoiser дословно переводится на русский язык как «удалитель шума». «Шум» в данном случае заключается в случайном повреждении части токенов у используемой для обучения последовательности с тем, чтобы модель затем научилась восстанавливать повреждённые участки, основываясь на неповреждённой части последовательности. Под отдельным денойзером в составе смеси понимают конкретный способ подготовки примера для обучения. Например, в модели UL2 два вида денойзеров (R и X) построены на задаче span corruption (т. е. «повреждение спана», под спаном понимают участок последовательности, состоящий из одного или нескольких следующих подряд токенов) с различными параметрами выбора спанов. В этой задаче берут исходную последовательность, удаляют случайные спаны (R — мало и редко, X — много или часто), подменяя их спецтокенами, и учат модель восстанавливать пропущенные спаны. Третий вид денойзера (S) основан на задаче продолжения последовательности, как в случае обычной языковой модели.
Задача восстановления повреждённого спана похожа на задачу MLM (masked language modeling, маскированное языковое моделирование), которую нередко используют для предобучения энкодерных трансформерных моделей (BERT, RoBERTa и др.). Но восстановление спана несколько сложнее, так как модель должна определить, какой длины спан ей нужно сгенерировать, при этом нередко длина спана может составлять 64 токена и более.
В процессе обучения удалению шума модель выучивает взаимосвязи между различными частями текста, что затем позволяет ей решать множество задач, связанных с пониманием языка. Основное архитектурное различие UL2 и FRED-T5 заключается в наборах денойзеров [2640].
Похожий подход можно использовать и при обучении чисто декодерной языковой модели, подобной моделям из семейства GPT. Этот подход, впервые предложенный исследователями из OpenAI, получил название «заполнение в середине» [fill in the middle] [2641]. Поскольку декодерные модели при предсказании следующего токена опираются только на предшествующие токены последовательности (префикс), нужно переупорядочить часть последовательностей в обучающей выборке следующим нехитрым образом. Разделим последовательность на три спана — префикс, середина и суффикс, а затем поменяем середину и суффикс местами, разделив все три спана специальным служебным токеном. Теперь при предсказании токенов середины модель будет видеть как префикс, так и суффикс. Модель, обученная таким образом, не только становится более универсальной (действительно, на практике нередко требуется генерировать последовательности, ориентируясь не только на левый, но и на правый контекст, — если вы хотите дописать новый фрагмент в середину уже существующего текста), но и выучивает представления, которые гораздо лучше отражают синтаксис и семантику естественного языка.
Ещё один способ совершенствования генеративных языковых моделей — применение обучения с подкреплением. Ответы модели можно отдавать на оценку людям-экспертам, чтобы затем обучить модель давать ответы, максимизирующие человеческие оценки. В наши дни этот подход принято называть «обучение с подкреплением с обратной связью от людей» (Reinforcement Learning with Human Feedback, RLHF).
Сама по себе идея соединения задачи генерации текста с методом обучения с подкреплением не нова — такие попытки предпринимались ещё в дотрансформерную эпоху. Однако существенного прогресса достичь долгое время не удавалось. Дело в том, что оценки, даваемые людьми, являются не только весьма дорогостоящими, как и любая другая ручная разметка, но и на практике довольно «шумными» — действительно, порой не так просто понять, какой из нескольких ответов модели лучше, а какой хуже, если речь не идёт о совсем уж очевидных ситуациях. Здесь в дело вмешивается множество случайных факторов и индивидуальных предпочтений. Значительного прогресса удалось добиться только в 2022 г., когда свет увидела работа исследователей из OpenAI под названием «Обучение языковых моделей следованию инструкциям при помощи обратной связи от людей» [Training language models to follow instructions with human feedback] [2642]. В этой работе была представлена модель, получившая название InstructGPT.
Первым делом авторы этой работы трансформируют диалоговую задачу таким образом, что из задачи поддержания диалога в духе досужей болтовни она превращается в задачу выполнения различных интеллектуальных задач в соответствии с инструкциями на естественном языке. Если раньше целями диалоговых моделей были поддержание непринуждённой беседы (зачастую с прицелом на голосовые взаимодействия) и ответы на различные фактологические вопросы (например: «Почему небо голубое?», «Где расположен Канин Нос?»), то теперь создатели модели замахнулись на задачи, требующие от модели недюжинных интеллектуальных и творческих способностей (например: «Придумай сказку о менеджере и свинье», «Напиши эссе на тему «Кому на Руси жить хорошо?», «Представь себе, что ты гопник-матерщинник, и объясни по-пацански теорию относительности Эйнштейна»). Фактически реплика человека представляет собой описание условия любой интеллектуальной задачи, и роль модели теперь не в том, чтобы быть простым собеседником, а в том, чтобы стать прилежным исполнителем, интеллектуальным мастером на все руки. И ничего, если ответ займёт целую страницу текста, зато это будет уникальный и максимально персонализированный контент.
Помимо этого, специалисты из OpenAI отказываются от прямого использования оценок ответов модели, полученных от экспертов. Вместо этого они используют оптимизацию на базе аппроксимации политики (PPO, мы уже упоминали данный подход при рассказе про Dota II). В процессе работы с моделью эксперты оценивают несколько вариантов ответа, данных нейросетью на один и тот же вопрос, и ранжируют их в порядке убывания качества. Однако, как мы уже говорили, собрать действительно много согласованных человеческих оценок сложно, поэтому выбор экспертов используется не напрямую. Вместо этого собранные ответы становятся материалом для обучения отдельной нейросети — так называемой модели вознаграждения (reward model) (это тоже трансформерная нейросеть; иногда её также называют моделью-оценщиком), и уже ответы этой сети применяются в качестве сигнала обратной связи при дообучении нейросети-генератора. Модель вознаграждения как бы аппроксимирует оценки экспертов и, по сути, учится предсказывать их реакцию на тот или иной вариант ответа.
Именно InstructGPT стала прямой предшественницей нашумевшего сервиса ChatGPT, запущенного OpenAI 30 ноября 2022 г. и ставшего причиной настоящего медийного взрыва. Благодаря ChatGPT сотни миллионов, если не миллиарды людей во всём мире за короткий срок узнали о возможностях современных генеративных языковых моделей. ChatGPT с лёгкостью справляется со множеством интеллектуальных задач, которые были не под силу искусственному интеллекту ещё несколько лет назад: пишет содержательные эссе, сочиняет и редактирует программный код, генерирует идеи, стилизует и анализирует тексты и так далее. Неспециалистам в ряде случаев трудно в общении отличить ChatGPT от собеседников-людей. Именно качественный прогресс по сравнению с привычными голосовыми ассистентами вызвал огромную волну интереса к языковым моделям и решительно изменил продуктовый и инвестиционный ландшафт сферы информационных технологий. Как грибы после дождя стали появляться различные стартапы, использующие ChatGPT в качестве «интеллектуального мотора», а компания Microsoft в январе 2023 г. инвестировала в OpenAI 10 млрд долларов (и по слухам, получила контроль над 49% акций компании) и в кратчайшие сроки запустила на базе наработок OpenAI сервис Bing Chat. Решительные действия Сэма Альтмана и его коллег принесли им успех, и этот шаг действительно требовал изрядной смелости: ведь они не только отказались от классического для диалоговых систем формата беседы, но и открыли доступ к сервису огромному количеству людей во всём мире. Трудно было предвидеть все последствия этих шагов. Ещё в мае 2022 г., в своём длинном посте на Reddit [2643], посвящённом двухлетию с момента выхода GPT-3, Гверн Бренуэн писал о том, что из-за возможных PR-последствий техногиганты побоятся предоставлять неограниченный доступ к своим моделям. В конце концов, все мы помним, чем обернулась для Microsoft история с ботом-фашистом Tay (мы рассказывали о ней в разделе 6.3.4.3). Возможно, именно памятуя об этом случае, OpenAI уделила так много внимания вопросам этики и безопасности. Впрочем, заставить ChatGPT сказать что-нибудь несуразное всё-таки можно — для этого пользователи быстро придумали множество весьма остроумных способов. Вот лишь некоторые из способов «атаковать» языковую генеративную модель:
