В Factorio построили нейросеть: 105 тысяч комбинаторов вместо видеокарты

Внутри Factorio теперь можно поговорить с нейросетью — правда, недолго. Пользователь под ником RomaPro227, как сообщает Хабр, построил языковую модель прямо в игровой механике: никаких модов и внешних скриптов, только комбинаторы и провода.

Масштаб конструкции — около 105 тыс. комбинаторов и порядка 200 тыс. проводов. Выводятся ответы на табло, где примерно 8 тыс. ламп. Архитектура — трансформер с восемью слоями, восемью головами внимания и контекстным окном на 256 символов. Арифметический и постоянный комбинаторы в паре работают как один нейрон с 256 или 1024 входами; веса лежат в постоянных комбинаторах, а числовые векторы бегут по проводам.

Вопросы задаются вручную: английский текст набирают по одному символу в ряду комбинаторов. При 60 обновлениях игры в секунду модель выдаёт примерно один символ за семь секунд. Сто символов ответа — почти 12 минут, не считая обработки ввода. Медленно, но нейросеть отвечает на вопросы о Factorio, сочиняет короткие истории и шутит, хотя порой ошибается и повторяется.

Автор выложил на GitHub сохранение мира, веса и инструкцию по запуску, а также Python-версию модели, которую можно гонять вне игры. Для самой конструкции нужны Factorio 2.0 и дополнение Space Age. Это не первый случай, когда игру используют как вычислительную среду, но обычно такие проекты ограничиваются логическими схемами — здесь же дошли до генерации текста.