gdsc 썸네일형 리스트형 [ML/DL] Quantization in Deep Learning Quantization(양자화)는 컴퓨터 비전에서 먼저 접근할 수 있는 개념이지만, 딥러닝 모델 경량화에도 사용되는 기법이다. 먼저, Quantization이 쓰이는 배경을 살펴본다. 모델 경량화의 필요성 Quantization은 Lightweight model의 필요성에 따라 등장하였다. 그렇다면 모델 경량화는 왜 필요할까? 1. 딥러닝 모델 크기의 증가 먼저, 딥러닝 모델 사이즈가 늘어나고 있기 때문이다. 아래 Figure 2는 LM 모델에서 파라미터 수를 나타낸 그래프이다. 가장 최근 모델인 GPT-4와 GPT-1의 차이를 보면 거의 1조만큼 차이가 난다. 일반적으로 모델의 크기의 정확도는 비례한다. 아래 Figure 3에서 확인할 수 있듯, CNN만 보더라도 정확도와 모델 크기 사이에는 상관관계가.. 더보기 [ML/DL] Generative Adversarial Network(GAN) Generative Adversarial Network 생성적 대립 신경망, 줄여서 GAN이라고 부른다. 지브리 스튜디오와 디즈니의 유명 캐릭터들을 AI image generator을 통해 사람 얼굴을 생성해 낸 사진이다. AI image generator는 여러 인공 신경망을 기반으로 할 수 있고, 그 중 하나가 GAN이다. Artbreeder, Faceapp은 GAN을 기반으로 한 것이다. 가장 유명하고 성능이 좋은 것은 Novel AI로 알려져 있는데 stable diffusion을 기반으로 만들어졌다고 한다. Generative Adversarial Network(GAN)? - Ian Goodfellow가 2014년 NIPS에서 발표한 생성모델이다. - 이미지나 영상, 텍스트 생성 등에 사용된다 .. 더보기 [Git] Git 개념과 기초 Git #git_add #git_commit #git_push #git_remote #git_hook #pre_commit #pre_push #.git 1. Git이란? 컴퓨터 파일의 변경사항을 추적하고 여러 명의 사용자들 간에 해당 파일들의 작업을 조율하기 위한 분산형 버전 관리 시스템. CLI(Command Line Interface)와 GUI(Graphic User Interface) 모두 이용할 수 있지만, CLI에서는 모든 기능들을 다 사용할 수 있기 때문에 CLI를 사용하는 것이 좋다. 1-1. 버전 관리가 필요한 이유/Git을 사용하는 이유? 개발자 간의 협업을 위해 전체 개발 소스를 공유하면서 개발 파트를 나눌 수 있고 같은 모듈을 개발하더라도 소스를 공유하며 개발할 수 있다. - 동시성:.. 더보기 [Linux] Shell Script 개념과 기초 #ls #cd #sudo #vi #vim #bash #zsh #chsh #.bashrc #zshrc #source #.profile #chmod #chown #ln 1. Shell 이란? 운영 체제에서 *커널과 사용자 사이에 끼어서 사용자의 명령을 해석하고 그 처리 결과를 뿌려주는/프로그램을 실행하는 시스템 프로그램. = 사용자가 OS와 상호 작용할 수 있도록 하는 명령줄 인터페이스. 쉘은 사용자의 입력을 읽고 명령을 해석하고 실행한다. Shell(소라/조개 껍데기): 내부의 커널과 이용자는 이를 감싸는 껍데기에 접근 *커널? 더보기 커널 OS의 핵심. 커널이 날아가면 OS를 못 쓰게 된다 역할: 자원 관리(하드웨어의 자원을 필요한 프로세스에 분배), 보안, 추상화(하드웨어에 직접 접근하지 않게 운영 체.. 더보기 이전 1 다음
