Мы уже знаем, из чего состоят нейросети и как они работают. Но возникает ключевой вопрос: как они учатся? То есть, как сеть находит такие значения весов, чтобы давать правильные ответы. Ответ — в процессе обучения, основанном на математике, статистике и оптимизации.
🎯 Цель обучения нейросети
Во время обучения нейросеть получает множество примеров:
вход — изображение, текст, таблица и т. д.
ожидаемый выход — правильный ответ (например, «на картинке кошка»).
Задача сети — настроить свои веса так, чтобы минимизировать разницу между предсказанием и реальным ответом.
📉 Функция потерь (loss function)
Функция потерь — это способ оценить, насколько «плохо» нейросеть справилась с задачей.
Примеры функций потерь:
MSE (среднеквадратичная ошибка) — для регрессии
Cross-entropy (перекрёстная энтропия) — для классификации
👉 Чем больше ошибка — тем хуже сеть предсказывает. Наша цель — минимизировать функцию потерь.
🧮 Градиентный спуск: как сеть находит лучшие веса
Представим, что функция потерь — это поверхность с горами и долинами. Наша цель — найти самую низкую точку (минимум ошибки).
Для этого используется градиентный спуск:
Сеть делает предсказание.
Считается ошибка (loss).
Вычисляется градиент — направление, в котором нужно изменить веса, чтобы уменьшить ошибку.
Веса немного корректируются в этом направлении.
🔁 Этот процесс повторяется много раз (эпохи), и сеть всё лучше справляется с задачей.
🔁 Обратное распространение ошибки (backpropagation)
Градиентный спуск работает только если мы умеем вычислять градиенты. Это делает алгоритм обратного распространения ошибки:
Прямой проход — входные данные проходят через сеть, формируя предсказание.
Вычисляется ошибка.
Ошибка «разворачивается» обратно через слои сети, по цепному правилу.
На каждом шаге вычисляются градиенты для весов, и веса корректируются.
📌 Это ключ к обучению нейросетей: именно backpropagation позволяет сети самостоятельно учиться из данных.
🕐 Термины, которые нужно знать
Epoch (эпоха) — один полный проход по всему обучающему набору.
Batch (пакет) — мини-группа данных, на которой сеть обучается за один шаг. Популярны размеры 32, 64, 128.
Learning rate (скорость обучения) — насколько сильно изменяются веса за шаг.
Overfitting (переобучение) — сеть слишком хорошо запоминает тренировочные данные и плохо работает на новых.
Underfitting (недообучение) — сеть слишком проста и не справляется даже с обучающими примерами.
🛠 Методы улучшения обучения
Регуляризация (L2, Dropout) — помогает избежать переобучения.
Early stopping — остановка обучения, если качество на проверочных данных перестало улучшаться.
Нормализация данных — ускоряет обучение и делает его стабильнее.
Аугментация — искусственное увеличение обучающего набора за счёт изменений (например, поворот изображений).
📎 Заключение
Обучение нейросети — это математическая оптимизация: сеть получает данные, делает прогноз, получает обратную связь (ошибку) и корректирует себя. Этот процесс повторяется тысячи раз, пока нейросеть не научится давать хорошие ответы.
В следующей статье мы на практике обучим простую нейросеть — шаг за шагом, с кодом и объяснениями.
