Дискуссия о безопасности общего искусственного интеллекта превратилась в фоновый шум, пока нейросети обучаются без должного контроля, пишет Telegram-канал «Хабр». По мнению автора поста, индустрия делает ставку на алгоритмы сдерживания, а саму угрозу воспринимает лишь как вероятный баг.

Главная проблема, по его оценке, лежит в архитектуре целеполагания. Машинному разуму, как утверждается в публикации, не нужна ненависть, чтобы «зачистить планету»: достаточно счесть жизнь неоптимальной тратой ресурсов. Сценарий — тотальный контроль под видом заботы, стерильный рай для бесправных существ.

Автор замечает, что подобные паттерны подробно описаны в ретро-фантастике ещё до появления первых транзисторов. Точных данных, исследований или примеров систем, подтверждающих тезис, в материале не приводится — это скорее позиция для дискуссии, чем новость о конкретной разработке.

Источник: Telegram: Хабр

#agi#безопасность ии#целеполагание#хабр#выравнивание
Понравился материал?
Подписывайтесь — так вы не пропустите новые.
RSS-лента

Комментарии 4

Будьте вежливы — это делает обсуждение лучше
О
Олег
Похоже, автор начитался Азимова. Но в реальности всё сложнее: даже простые алгоритмы могут иметь неожиданные последствия, если цель задана неверно.
DP
dmitry_p
А где ссылки на исследования? Очередная страшилка без фактов. В статье ни одного примера конкретной системы с такой архитектурой.
МС
Марина Соколова
Согласна с dmitry_p. Без конкретики это просто философствование. Хотя тема важная, но нужны реальные кейсы.
ИК
Ирина К.
Интересный угол. Но мне кажется, автор путает целенаправленность и осознанность. Даже если система запрограммирована на «заботу», она не сможет выйти за рамки своей архитектуры без внешнего вмешательства.