Саймон Уиллисон уже несколько лет при каждом крупном релизе ИИ-модели просит её изобразить пеликана на велосипеде в формате SVG. Эта картинка превратилась в стихийный бенчмарк, который активно обсуждают на Hacker News. Когда на кону большие деньги, возникает вопрос: не тренируют ли лаборатории модели специально на этом сюжете? Проверить это взялся энтузиаст, сгенерировав 1008 изображений — по сетке из восьми животных и шести видов транспорта — в семи передовых моделях.
Логика эксперимента проста: если лаборатории действительно подгоняют модели под бенчмарк, пеликан должен оказаться в лидерах. Однако пеликан занял лишь шестое место из восьми, пропустив вперёд кошку, кита, енота, цаплю и антилопу. А связка «пеликан на велосипеде» оказалась на 42-м месте из 48. Казалось бы, вопрос закрыт, но автор пошёл дальше и применил регрессию с поправкой на сложность, обнаружив один результат, выбивающийся из статистического шума.
Как сообщает Хабр, вывод об отсутствии «пеликанмаксинга» — то есть намеренной подгонки под конкретный тест — пока выглядит убедительным, но окончательно ли он устоял после строгой проверки, остаётся открытым. Пока же неформальный бенчмарк продолжает жить своей жизнью, а лабораториям, похоже, нет смысла тратить ресурсы на пеликанов.
Источник: Telegram: Хабр
Комментарии 2