경량화 overview
Goal
On device AI
* 사용자 개인 기기에 탑재되는 모델들이 가지는 제한사항을 극복
* power usage
* RAM
* Storage
* Computing power
AI on cloud
* 많은 사용자가 사용해야 하기 때문에 latency, throughput이 중요한 이슈
* e.g., 요청당 소요시간, 단위 시간당 처리 가능한 요청 수
* 동일 자원으로 더 적은 latency, 더 큰 throughput을 구현/구축해야한다.