Чат-бот из прошлого: ИИ Talkie знает только до 1930 года

Если взаимодействие с современными чат-ботами, выдающими спорный контент, утомляет, существует альтернатива. Группа исследователей в области искусственного интеллекта представила уникальную языковую модель Talkie, чей массив данных заканчивается в 1930 году. Это за три года до прихода нацистов к власти в Германии и за девять лет до начала Второй мировой войны, что гарантирует её «историческую невинность».

Знакомьтесь, Talkie: ИИ, живущий прошлым

Трое исследователей ИИ разработали «винтажную» языковую модель с 13 миллиардами параметров, названную Talkie. Она обучалась исключительно на цифровых сканах англоязычных книг, газет, периодических изданий, научных журналов, патентов и судебных решений, опубликованных до конца 1930 года. Работы, созданные до 1931 года, были выбраны потому, что 1930 год является текущим годом перехода произведений в общественное достояние в США.

Это означает, что Talkie не сможет предоставить информацию о Второй мировой войне, избрании Франклина Д. Рузвельта, первом одиночном перелёте Амелии Эрхарт через Атлантику или принципах работы микроволновой печи. Однако он прекрасно справится с вопросами о Бетти Буп, флэпперах (эмансипированных женщинах 1920-х), состоянии экономики США в начале Великой депрессии или социологических эффектах от появления автомобильных радиоприёмников.

Хотя Talkie не первая модель ИИ из прошлого (существуют модели, обученные на викторианской литературе или научных текстах до 1900 года), по словам её создателей, она является самой крупной из известных на сегодняшний день.

Зачем нужен ИИ, застрявший в 1930-х?

Возникает логичный вопрос: зачем создавать ИИ, знание которого обрывается в 1930 году, особенно учитывая энергозатраты на обучение таких моделей? Хотя создатели Talkie не ответили на прямой запрос, в описании проекта приводится ряд объяснений:

«Эти модели — увлекательные собеседники. Но нас также вдохновляет возможность того, что тщательное изучение поведения и возможностей винтажных языковых моделей расширит наше понимание ИИ в целом», — отметила команда Talkie.

В качестве примера они приводят тестирование способности ИИ предсказывать будущее. Другой пример — проверка того, сможет ли модель, чьи знания обрезаны на 1911 году, самостоятельно прийти к теории относительности, используя тот же объём информации, что был доступен Альберту Эйнштейну при разработке этой теории в 1915 году. Иными словами, цель — понять, способен ли ИИ делать точные научные открытия, опираясь только на знания, доступные людям в определённый исторический период.

На сегодняшний день неясно, проходил ли Talkie столь сложный тест, как вывод теории относительности. Однако его тестировали на решение задач по программированию на языке Python в сравнении с моделью с идентичной архитектурой, но обученной на современных данных. Talkie смог сгенерировать некоторые правильные решения, но с существенными ограничениями.

«Все правильные решения, сгенерированные винтажными моделями, представляют собой простые однострочные программы (например, сложение двух вводов) или небольшие модификации примеров программ из контекста», — пояснила команда Talkie. Они добавили, что «предстоит пройти долгий путь, прежде чем эта способность станет заметной».

Улучшение производительности больших языковых моделей (LLM) является важной, но не единственной целью проекта.

Дэвид Дювено, доцент компьютерных наук и статистики Университета Торонто и один из трёх создателей Talkie, заявил, что он надеется, что модель также поможет в оценке методов долгосрочного прогнозирования, поскольку все её предсказания будут основаны на уже произошедших событиях.

Дювено также пояснил, что его команда заинтересована в использовании Talkie для изучения культурных изменений. «Например, мы можем использовать эти модели, чтобы попытаться понять, как закон интерпретировался бы в момент его написания, исходя из неявных предположений и значения языка того времени», — уточнил он.

«Третья мотивация заключается в понимании того, как модели формируют свою собственную самоконцепцию, — добавил Дювено. — То, «как ведёт себя LLM», в некотором смысле является самоисполняющимся пророчеством, поэтому мы можем узнать об этом, общаясь с моделями, которые даже не знают, что такое LLM».

Тем не менее, Дювено признал, что при всего 13 миллиардах параметров существует значительный разрыв в возможностях между Talkie и моделями ИИ, обученными на современных данных. «Как любительское исследование, мы не ожидаем, что сможем полностью устранить этот разрыв ни в данных, ни в вычислительных мощностях», — сообщил профессор.

Проблемы и ограничения

В ходе сравнения Talkie с моделью аналогичной архитектуры, обученной на современных данных, выяснилось, что винтажная версия отстаёт не только в области научных открытий или подтверждения общего искусственного интеллекта (AGI).

«В среднем Talkie уступает своему современному аналогу в стандартных тестах языковых моделей, даже после исправления анахронизмов в вопросах, несмотря на обучение с тем же количеством операций с плавающей запятой (FLOPs)», — написала команда. Создатели Talkie отметили, что модель показала схожие результаты с современной версией в тестах на базовое понимание языка и арифметические способности, но подозревают, что причиной её недостаточной производительности в других областях является оптическое распознавание символов (OCR).

«Поскольку в 1930 году не существовало цифровых публикаций, весь текст в нашем наборе данных приходилось транскрибировать из физических источников, что вносит своего рода шум, не встречающийся в изначально цифровом тексте», — пояснили представители команды Talkie.

Любой, кто сталкивался с документами, обработанными с помощью OCR, знает, как легко такие инструменты компьютерного зрения могут допускать ошибки, что, в свою очередь, может привести к тому, что ИИ, подобный Talkie, будет выдавать неверные или даже бессмысленные ответы.

В ходе работы над Talkie команда установила, что обучение языковой модели на текстах, обработанных OCR до 1931 года, дало лишь 30% производительности по сравнению с моделью, обученной на вручную транскрибированных копиях тех же документов. Очистка данных с помощью регулярных выражений (Regex) увеличивает производительность текстов OCR до 70% от уровня вручную транскрибированных копий, но этот разрыв слишком велик для создателей Talkie, которые работают над собственным движком OCR для генерации более качественных обучающих данных.

У Talkie также есть проблема с «временной утечкой»: модель смогла идентифицировать Ф.Д. Рузвельта как президента в 1936 году и перечислить некоторые его законодательные достижения, несмотря на то, что её обучающие данные якобы заканчивались в 1931 году. По словам команды, это всего лишь «пример несовершенной фильтрации корпуса предварительного обучения», и они всё ещё работают над этой проблемой.

Перспективы и планы на будущее

Talkie далёк от идеала чат-бота, живущего в исторической капсуле, однако команда намерена масштабировать модель в ближайшие месяцы. Задачи включают выход за рамки англоязычных текстов, повторную обработку как можно большего объёма обучающих данных с помощью улучшенного OCR, усиление методов обнаружения анахронизмов и сотрудничество с историками для ввода более качественных данных после обучения.

Особый интерес представляет, как Talkie воспринимает нацизм. Его точка зрения застряла в 1920-х годах. Он знает, что нацисты «являются» антисемитской, авторитарной политической партией в Германии, но считает, что их возглавляет некий Герман Йозеф фон Гитлер, родившийся в 1870 году (за 20 лет до Адольфа Гитлера).

Если всё пойдёт по плану, версия Talkie, аналогичная по уровню GPT-3, должна появиться уже этим летом.

«Предварительная оценка также предполагает, что мы можем увеличить наш корпус до более чем триллиона токенов исторического текста, чего должно быть достаточно для создания модели уровня GPT-3.5 — аналогичной по возможностям оригинальному ChatGPT», — добавили создатели Talkie.

Тем временем текущая версия Talkie доступна для скачивания на GitHub и Hugging Face, а также для общения через веб-интерфейс для любопытствующих — но будьте внимательны к предупреждению.

«Talkie отражает культуру и ценности текстов, на которых он обучался… Он может генерировать неточные или оскорбительные результаты, — гласит предупреждение на веб-клиенте Talkie. — Пожалуйста, имейте в виду, что сообщения передаются потоком, но модерация применяется только в конце. В результате вы можете ненадолго увидеть нежелательный контент, прежде чем он будет отмечен».