분류 전체보기27 AdamW 리뷰. Decoupled Weight Decay Regularization 서론 막연히 옵티마이저는 Adam이 가장 좋다라고 알고 있었겠지만, 사실 이는 2014년에 발표된 꽤 오래된 기술이다. 이 논문에서는 L2 reg와 weight decay reg가 SGD와 Adam에 미치는 영향을 밝힌다. L2 방식은 Adam에서 만큼은 그다지 효과적이지 못하다는 것을 말해준다. 1. 보통 L2와 weight decay는 같은거라고 알고 있었지만, 이는 SGD에서만 그렇고.. Adam에서는 그렇지않다. 2. L2는 Adam에서 그리 효과적이지 않다. Adam같은 adaptive 옵티마이저가 SGD에 비해 보통 좋은 성능을 낸다고 생각했던 이유는 대부분 딥러닝 라이브러리에서 L2만 구현해두고, 오리지널 weight deday는 구현하지 않았기 때문이다. 3. (어찌보면 직관적이고 당연할 .. 2023. 7. 19. NCF, 딥러닝 기반 추천 시스템 전통적으로, 추천 시스템은 클러스터링, KNN, Matrix factorization을 기반으로 했습니다. 하지만 최근에는 딥러닝이 모든 분야에 접목되기 시작했고 추천 시스템 역시 예외는 아니었습니다. 코드: https://www.kaggle.com/code/mmvv11/deep-learning-based-recommender-systems 참고 원본: https://www.kaggle.com/code/jamesloy/deep-learning-based-recommender-systems 추천 시스템에서 implicit, explicit feedback의 차이점 파악 본격적으로 모델을 만들기 전에 추천 시스템에서는 implicit, explicit feedback 차이를 파악하는 것이 굉장히 중요합니다... 2023. 4. 14. Pytorch GPU 사용 설정 1. 엔비디아 드라이버 설치 https://www.nvidia.com/Download/index.aspx?lang=kr# Download the latest official NVIDIA drivers Download the latest official NVIDIA drivers www.nvidia.com 2. cuda toolkit 설치 https://developer.nvidia.com/cuda-toolkit-archive CUDA Toolkit Archive Previous releases of the CUDA Toolkit, GPU Computing SDK, documentation and developer drivers can be found using the links below. Please .. 2023. 3. 30. 1. 대학원 생활. 아무래도 난 X된 것 같다. 저는 하고 싶었던 것이 많았던 평범한 사람입니다. 학교를 다니며 공부도 열심히 했고, 사업을 해서 돈도 벌어봤습니다. 하지만 어느샌가 이 모든걸 혼자서 하고 있다는 사실을 깨달았습니다. 물론 혼자서 한다는게 그 자체로 나쁜 것이라고 생각하지는 않습니다. 다만, 성장에 한계가 있다는 것을 깨달았죠. 그래서 회사에 들어가고 싶어졌습니다. 운이 좋게 대기업에 합격도 했습니다. 동시에 다른 선택지가 떠올랐습니다. 대학원이었습니다. 새로운 것을 마음껏 배울 수 있고, 무엇보다 회사보다 자유로운 삶을 (일시적이지만) 살 수 있다는 것이 가장 매력적이었습니다. 과감히 대기업을 포기하고 대학원을 선택했습니다. 그리고 어느덧 3개월 정도 대학원 생활을 하는 중입니다. 꽤나 자유로운 생활이 가능하고 새로운 것을 마음껏 배.. 2023. 3. 30. 이전 1 2 3 4 ··· 7 다음
