쉽게가는 프로그래밍 쉽게가는 프로그래밍

신경망 훈련에는 SGD, Adam등의 상황에 따라 다양한 optimizer가 사용된다. 파이토치에서는 torch.optim 모듈을 이용해서 optimizer를 지정하는데, 베이스 클래스인 torch.optim.Optimizer를 상속받아서 여러가지 optimizer 클래스가 미리 구현되어있다. 1. optimizer 클래스 초기화 제일 중요한 매개변수는 신경망의 파라메터이다. Variable 타입의 파라메터들을 iterable 오브젝트로 넣어줘야한다. 그 외에는 각 optimizer 타입에 따라 learning rate, weight decay 등을 넣어주면 된다. optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9) optimizer = o..