Хабрапользователь удалил backpropagation из нейросети и обучил её методами XIX века

Один из пользователей платформы Habr провел радикальный эксперимент: он взял модель в PyTorch и буквально удалил строку кода, отвечающую за метод обратного распространения ошибки (.backward()). Этот шаг, по его словам, был равносилен отказу от фундаментального математического аппарата, который в современном машинном обучении воспринимается как воздух. Целью было не учебное повторение основ, а попытка обучить нейросеть, ни разу не рассчитав градиент.

Эксперимент увенчался успехом. В процессе автор сделал неожиданное наблюдение: популярный оптимизатор Adam, по сути, оказался уравнением движения с трением, записанным на Python. Это открытие создает интригующую связь между современными алгоритмами глубокого обучения и классической механикой XIX века, которую, как предполагает автор, мог бы одобрить сам Лагранж.

Хотя эксперимент носит скорее исследовательский и провокационный характер, он ставит под сомнение абсолютную необходимость backpropagation как единственного пути. Это заставляет задуматься об альтернативных парадигмах обучения, особенно в контексте поиска более эффективных или биологически правдоподобных алгоритмов. Успех такого «варварского» подхода сигнализирует о том, что в фундаменте современных нейросетей могут скрываться не до конца исследованные и более простые принципы.