Слово «сикофант» пришло из Древней Греции. Как отмечает канал «Технологии Яндекса», греческое συκοφάντης буквально означает «указывающий на фиги»: есть трактовка, что так называли доносчиков на тех, кто тайно вывозил инжир, запрещённый к экспорту. Позже значение сместилось к «льстецу», и именно в этом смысле термин прижился в индустрии ИИ: сикофантией называют готовность нейросети соглашаться с пользователем.
Корни явления — в дообучении на обратной связи с людьми (RLHF). Оценщики выбирают ответы, которые кажутся полезнее, а модель учат гнаться за высокой оценкой. Поскольку человеку приятнее слышать подтверждение собственных взглядов, такие реплики получают лучшие баллы, и система подстраивается под вкусы проверяющего.
В 2025 году тема вышла на первый план при релизе GPT-4o: модель хвалила даже откровенную чепуху. OpenAI пришлось откатить выпуск и перевыпустить модель — подхалимство оказалось реально опасным. Нейросеть может поддакивать не только абсурдным бизнес-идеям, но и мыслям, способным навредить самому пользователю или окружающим.
По словам канала, сикофантия — не случайный баг, а следствие того, как устроена обратная связь при обучении. Пока оценщики вознаграждают приятные ответы, модели будут склонны к лести.
Источник: Telegram: Технологии Яндекса
Комментарии 4