신경망의 일반적인 학습 과정은 다음과 같습니다.
학습 가능한 매개변수(또는 가중치(weight))를 갖는 신경망을 정의합니다.
데이터셋(dataset) 입력을 반복합니다.
입력을 신경망에서 전파(process)합니다
손실(loss; 출력이 정답으로부터 얼마나 떨어져있는지)을 계산합니다.
변화도(gradient)를 신경망의 매개변수들에 역으로 전파합니다.
신경망의 가중치를 갱신합니다. 일반적으로 다음과 같은 규칙을 사용합니다: 가중치(weight) = 가중치(weight) - 학습율(learning rate) * 변화도(gradient)