PyTorch считает производные «запрещённой» математикой — и это работает

Вызов loss.backward() в ML-фреймворках устроен на концепции, которую математики десятилетиями считали сомнительной. Как разбирает Хабр, классический анализ заменил бесконечно малые пределами, а физики продолжали обращаться с дифференциалами интуитивно — и именно эта «ересь» лежит в основе автодифференцирования.

PyTorch и JAX считают производные не через абстрактные предельные переходы, а через алгебру дуальных чисел. В нестандартном анализе бесконечно малые становятся полноправными гиперреальными числами, и вычисление производной превращается в чёткую алгебраическую процедуру.

Для пользователя разницы не видно: backward() работает как раньше. Но полезно помнить, что под капотом — математика Лейбница, которую когда-то отвергли.