quantization 썸네일형 리스트형 [ML/DL] Quantization in Deep Learning Quantization(양자화)는 컴퓨터 비전에서 먼저 접근할 수 있는 개념이지만, 딥러닝 모델 경량화에도 사용되는 기법이다. 먼저, Quantization이 쓰이는 배경을 살펴본다. 모델 경량화의 필요성 Quantization은 Lightweight model의 필요성에 따라 등장하였다. 그렇다면 모델 경량화는 왜 필요할까? 1. 딥러닝 모델 크기의 증가 먼저, 딥러닝 모델 사이즈가 늘어나고 있기 때문이다. 아래 Figure 2는 LM 모델에서 파라미터 수를 나타낸 그래프이다. 가장 최근 모델인 GPT-4와 GPT-1의 차이를 보면 거의 1조만큼 차이가 난다. 일반적으로 모델의 크기의 정확도는 비례한다. 아래 Figure 3에서 확인할 수 있듯, CNN만 보더라도 정확도와 모델 크기 사이에는 상관관계가.. 더보기 이전 1 다음
