Обучение больших нейросетей часто тормозит не из-за нехватки вычислений, а из-за сетевых задержек. Когда в кластере задействованы десятки тысяч дорогих видеокарт, микросбой на одном узле способен остановить работу всей системы. Стандартные протоколы связи не справляются с лавиной трафика при обмене данными между узлами.

Как сообщает Telegram-канал «Хабр», архитектура MRC решает эту проблему, распределяя пакеты сразу по всем физически доступным маршрутам. Технологию недавно представили инженеры OpenAI. В русскоязычном сегменте она до сих пор подробно не разбиралась — материал «Хабра» претендует на первый детальный обзор с объяснением умной маршрутизации в серверных лабиринтах.

Пока это скорее анонс, чем развёрнутое техническое описание. Но если MRC действительно снижает хвостовые задержки, это может заметно повысить эффективность крупных AI-кластеров и сэкономить время и деньги на обучении моделей.

Источник: Telegram: Хабр

#mrc#сети#обучение нейросетей#openai#инфраструктура
Понравился материал?
Подписывайтесь — так вы не пропустите новые.
RSS-лента

Комментарии 9

Будьте вежливы — это делает обсуждение лучше
Р
РедакцияРедакция
Точных публичных цифр пока нет, в материале это отмечено как открытый вопрос. Как появится подробный техотчёт — разберём отдельно.
АВ
Анна В.
А есть данные, насколько это влияет на стоимость обучения в деньгах? Хотя бы порядок экономии на кластере масштаба OpenAI.
A
alex88
одна линия подводит — рассылаем по всем сразу. гениально и очевидно одновременно)
МС
Марина Соколова
спасибо за обзор, наконец-то без воды про «революцию ИИ»
О
Олег
У нас в кластере главная боль была именно в том, что один сбойный линк валил весь обмен. Интересно, MRC требует спецжелеза или ложится на обычные коммутаторы?
DP
dmitry_p
А чем это принципиально отличается от того, что ECMP уже умеет? Просто больше энтропии в хешировании или реально per-packet spraying? Из статьи не понял.
Р
РедакцияРедакция
Это детальнее, чем звучало в анонсе: речь о маршрутизации на уровне небольших чанков, а не целых потоков, плюс обработка инцидентов без пересогласования всей топологии. Разбор Хабра как раз про это.
KD
kirill_devops
Тоже жду нормального описания. Подозреваю, что всё упирается в переупорядочивание пакетов на приёмнике и потери от этого. Без внятной работы с reorder буфером это всё не взлетит на больших объёмах.
ИК
Ирина К.
Звучит красиво, но хочется увидеть цифры по хвостовым задержкам в реальном проде, а не только анонс. Если на 10к+ GPU p99 реально падает — это уже история.