О бутылочном горлышке архитектуры фон Неймана спорят с 1977 года, но по-настоящему больно оно стало с расцветом больших языковых моделей. Каждое извлечение инструкции из памяти, её декодирование и предсказание ветвлений съедают энергию, а данные бесконечно курсируют между процессором и памятью. Как сообщает Хабр, стартап Efficient Computer предлагает смотреть на вычисления иначе.
В Electron E1 программа распределена не во времени, а по площади чипа — от одной плитки к другой. На типичных embedded-задачах, включая свёртки в нейросетях, такой подход даёт выигрыш в 10–100 раз по эффективности по сравнению с ARM. Потоковую архитектуру пробовали и Google, и Amazon, и IBM, но универсальный процессор из неё не получался: все упирались в одно и то же ограничение. В чём именно команда E1 его обошла, источник обещает разобрать отдельно.
Для рынка ИИ это чувствительная тема: энергопотребление ускорителей и процессоров давно стало узким местом при масштабировании моделей. Если заявленная эффективность подтвердится на реальных нагрузках, у ниши embedded-вычислений появится альтернатива привычным ARM-решениям. Пока же речь идёт о цифрах на типичных задачах, а не о готовом ответе для дата-центров.
Источник: Telegram: Хабр
Комментарии 5