tony9402

최근 huggingface/transformers 에서 모델을 어떻게 구현하였는지 궁금하여 BART 모델 소스코드를 구경하던 도중 이해가 안 되는 주석을 보게 되었다. `BartEncoderLayer` 모듈을 구경하던 중 `hidden_states`의 shape이 (seq_len, batch, embed_dim)으로 되어 있었다. 저 부분만 아무리 봐도 (batch, seq_len, embed_dim)이 맞는 거 같아 직접 shape들을 계산해 보기로 했다. (사실 직접 계산하는 것보다 shape를 print하는 것이 더 빠르게 확인할 수 있다.) 주석이 맞는지 확인하기 위해 직접 계산하는 과정을 간단히 정리해 보면 아래와 같다. (실제론 더 자세히 계산했다.) `input_ids`의 shape는 (ba..

보호되어 있는 글입니다.

ResNet 논문 : https://arxiv.org/pdf/1512.03385.pdf (해당 포스터는 논문을 읽고 직접 구현하는 능력을 기르기 위해 기록하는 글입니다. 딥러닝 모델의 특성보다 구현에 초점하여 작성했습니다.) 논문 파악 1. ResNet은 Residual Block을 사용한다. 2. ResNet 모델에는 두가지 Block을 기반으로 모델을 구축한다. 보통 왼쪽에 있는 block을 Basicblock으로 많이 불리는 것 같다. 3 . Convolution과 activation 사이에 Batch Normalization을 항상 적용 4. ResNet 18, 34, 50, 101, 152 모델 구조, ResNet-18,34는 Basicblock을, ResNet-50,101,152는 Bottle..

PyCharm이랑 Deep Learning Workstation을 연결하여 좀 더 편하게 작업을 하기 위해 개발환경을 세팅하고 있다. 이전 포스트에서는 ssh를 이용해서 Docker Container에 접속할 수 있게 세팅을 완료했다. 이 포스트에서는 PyCharm에 ssh로 Docker Container에 연결을 해보는 작업을 하려고 한다. 작업 순서 (PyCharm ssh 연결) 1. 새로운 프로젝트에 SSH 연결하기 New Project > Previously configured interpreter > Add Python Interpreter > SSH Interpreter 에서 세팅한 Docker 연결 조심해야하는 부분은 Docker Container 접속이기 때문에 sudo 명령어를 사용하지 ..

내가 쓰고 있는 Macbook Pro에서 PyCharm에 딥러닝 서버 (Ubuntu)에 있는 도커를 연결시킬려고 한다. 전에는 Vim으로 모든 것을 해결하고 있었지만 아무래도 잘 만들어진 IDE를 쓰는게 더 좋을 것 같다는 생각이 들어 세팅하려고 한다. (하지만 Vim을 버릴 수 없지... PyCharm에서 IdeaVim 플러그인을 설치해서 Vim도 사용중이다 ! 편안...) 일단, 세팅을 하기 전에 개발환경을 정리해보자. 작업 환경 개발 환경 : Macbook Pro (2019, Big Sur) - PyCharm 2021.2.3 (Professional Edition) Deep Learning Workstation : Ubuntu 18.0.4, RTX 3090 - Docker 20.10.7 - Dock..