5장 p164 코드 관련 문의

[sosonak]

p164 코드 관련 문의 입니다.

forward 함수의 return 값이 F.log_softmax(x, dim=1) 입니다.

그런데 loss를 구할 때 F.cross_entropy 함수를 사용하고 있습니다.
이 함수는 내부적으로 log_softmax를 호출하는데
이렇게 되면 모델의 output 값에 log_softmax를 두번 적용하게 되는 것 같아서요.

forward 함수의 return 값을 그냥 x로 두는게 맞지 않을까 해서 문의 드립니다.

[keon]

답이 늦어서 죄송합니다. 문의주신 내용이 맞습니다.

파이토치에선 cross_entropy함수 내에서 log_softmax를 적용하기 때문에 log_softmax를 적용하지 않은 logit (코드에선 x)를 출력하는게 맞습니다.
다행히도 log_softmax를 두번 적용하더라도 결과값은 같기에 학습에 차이는 없습니다.

컨셉트를 생각하면서 코드를 짜다보니 실수를 했네요 ㅠㅠ