Sungho Park

Sungho Park

Generative Models

https://deepgenerativemodels.github.io/ 스탠포드 대학의 수업이라고하는데 참고해서 수업을 진행하셨다. Generative model 단순히 이미지와 문자를 만드는 것이 아니다. ![](/assets/images/Generative Models/0f8e765f-c03c-4ef0-a45b-2717e4b2bf37-image.png) 강아지 이미지들을 받았다고 해보자. Generative model에 probability distribution $$p(x)$$를 학습할 것을 기대할 수 있다. * Generation: $$x_{new} \sim p(x)$$를 샘플링 했을 때,
Sungho Park

Transformer

Background 기존의 rnn들도 sequence data들을 다룰 수 있지만, 위와 같이 원본 데이터에서 일부 데이터가 빠진 sequence data들에 대해서 다루기는 매우 어려웠다. 이를 다루기 위해 transformer가 등장했다. Transformer RNN처럼 재귀적인 구조가 없다. Tranasformer is the first sequence transduction model based entirely on attention. 본래는 위와 같이 기계어 번역을 위한 모델이었다. 하지만
Sungho Park

parameter 수

수업을 기준으로 하는 2020년에는 parameter의 수를 줄이는 것이 관건이라고 했다. 왜냐하면 그럴수록 학습이 잘되고 일반적인 성능을 올리거나 generalize performance에도 좋다. 하지만 오늘 master 클래스에서 교수님께서 2021년에서는 아니라고 하셨다. openai에서 발표된 논문이 있는데, parameter를 늘릴수록 generalize performance가 좋다고 한다. 또한 학습을 할 수 있는 자원이 있다면, 늘리는 것이 학습이나 성능 면에서
Sungho Park

NN & Multi layer perceptron

Neural Networks 인간이 가진 뇌의 신경망을 모방했기 때문에 잘 작동한다고도 한다. ![](/assets/images/NN & Multi layer perceptron/bec49730-5ab0-475b-9da8-3c21210874a5-image.png) 어느 정도 맞는 말이다. 실제 뉴런의 형태를 모방해서 구현된 것이 NN의 node와 흡사하다. 하지만 굳이 뇌를 모방한 것이라 하기에는 Back propagation과 같은 과정이 NN에는 필수적이다. ![](/assets/images/NN & Multi