GPT 언어 모델
* BERT: embedding 모델
* Transformer encoder 사용
* GPT: 생성 모델
* Transformer decoder 사용
GPT 개요
일반적으로 배웠던 Language model의 언어 생성 과정과 동일하다. 순차적으로 다음에 올 가장 적절한 단어들을 확률적으로 예측한다.
GPT-1은 마치 BERT처럼 모델의 뒷단에 원하는