В 2015 году Google представила DeepDream — инструмент, который усиливает на изображении те участки, на которые сильнее реагируют внутренние сигналы модели. Результат быстро разошёлся по интернету: облака с проступающими собачьими мордами стали отдельным визуальным жанром. Но, как отмечает в разборе «Хабр», исследователей за этими картинками занимало другое — возможность увидеть, что происходит между входной фотографией и списком вероятностей на выходе.
Метод работает просто: он подчёркивает то, на что модель реагирует сильнее всего. И тут обнаружился показательный эффект. Когда визуализировали класс «гантель», рядом с ней снова и снова появлялись человеческие руки. Сеть выучила гантель вместе с рукой, которая её держит, — потому что на обучающих фотографиях гантели почти всегда держат руками.
Рука не является частью гантели, но для модели эта связь оказалась полезной. И это ровно тот случай, когда высокая точность ещё не означает, что задача решена так, как задумывал человек. Внутреннее устройство сети читается тяжело, и такие визуализации — один из немногих способов подсмотреть, какие признаки она на самом деле связала между собой.
Источник: Telegram: Хабр
Комментарии 6