Гипотеза
Численные конвейеры можно строить так, чтобы деление на ноль, переполнение и потеря точности мягко ухудшали результат, а не уничтожали его.
Проблема
Один NaN отравляет тензор; одно переполнение убивает прогон обучения. Стандартный ответ — защитное клиппирование повсюду, которое незаметно меняет саму математику.
Текущее состояние
Созревает — библиотека открыто опубликована.
Методы
- Вычислительная библиотека (Balansis), проверяемая как численная основа остальных слоёв
- Стресс-наборы вокруг особых точек и экстремальных величин
Результаты
- Подход выдерживает стресс-наборы лаборатории, а несущая его библиотека открыта — механизм можно прочитать, а не принимать на веру