Яндекс научил алгоритм ловить сбои в сервисах без человека

Как сообщает Telegram-канал «Технологии Яндекса», в компании разработали детектор аномалий — алгоритм машинного обучения, который в автоматическом режиме отслеживает сбои в работе пользовательских сервисов. Речь идёт о ситуации, когда, например, в одном из городов резко вырастает доля отменённых заказов такси. Такие сигналы помогают дежурным специалистам быстро реагировать на неполадки.

Раньше за каждой метрикой следила программа-алерт: она срабатывала, если показатель выходил за заранее заданные границы. Сложность в том, что значения метрик зависят от множества обстоятельств — времени суток, сезона, погоды и других. Из-за этого прописать универсальные пороги трудно: непонятно, какое значение в конкретный момент считать нормальным, а какое — отклонением.

Новый детектор, созданный в Техплатформе городских сервисов Яндекса, избавлен от этой проблемы: он сам проводит границу между штатной работой и сбоем. Алгоритм действует циклично. Каждые 30 секунд он обучает компактную модель на данных за последние пару недель, затем сверяет с её предсказаниями свежие показатели. Если отклонения значительные, дежурные получают сигнал об аномалии. После этого модель удаляется, и цикл начинается заново.

Детектор универсален: его применяют не только в Такси, но и в других сервисах Яндекса. По данным источника, система уже встроена в мониторинг сбоев. Такой подход позволяет обходиться без ручной настройки порогов для каждой метрики и делает наблюдение за стабильностью более гибким.