weight init
다른 캠퍼분이 정리해주신 내용이 있는데 공유한다.
https://velog.io/@hanlyang0522/weight-init을-하는-이유
정리하면, weight init을 0으로 하지 않는 이상 문제는 없다. 자동으로 해주기도 하고, 실습에서 강사님께서 하신것처럼 pytorch 빌트인 함수를 통해 init을 하는 경우 기본 init과 동일하기 때문이다.
다만, 0으로 하면 학습이 안될 수도 있다.
ML
DL
DL
모호하게 알고 있던 내용들을 부캠강의에서 명료하게 정리해줬다.
당연한 이야기들도 많은데 그냥 다 정리했다.
갖춰야할 능력
* 구현 능력
* 수학 능력(Linear algebra, probability)
* 최신 트렌드의 논문들을 많이 알고 있는 것
정의
AI = 사람의 지능을 모방하고자 한다
ML = 데이터 기반으로 문제 풀이 접근
DL = 데이터 기반으로
데이터 시각화
Data viz
데이터
시각화를 진행할 데이터
* 데이터셋 관점(global)
* 개별 데이터의 관점(local)
정형 데이터
CSV 파일.
item = row 1개
attribute(feature) = column
시계열데이터
* 시간의 흐름에 따른 Time-Serires 형태.
* 음성, 비디오
* 시간 흐름에 따른 추세(trend), 계절성(SEasonality)
CNN
CNN
MLP의 fully conneted layer는 가중치 행렬이 매우 크다.
반면 CNN은 kernel이라는 고정된 입력벡터를 사용한다.
* 모든 i에 대해 커널 V를 적용한다.
* 커널의 사이즈만큼 x 상에서 이동하며 적용한다.
* 활성화 함수를 제외한 convolution 연산도 선형변환이다.
수식
continous, discreate한 경우에 아래와 같이 수식이 이루어진다.
convolution 연산은 신호(signal)을 국소적으로 증폭/감소시켜 정보를
Neural network
Neural network
Linear regression에서의 NN
행렬의 역할을 아주 잘 활용한 전형적이 예시가 NN이다.
X 행렬에서 데이터를 모아둔다. W에서는 X의 데이터를 다른 차원으로 보내주는 역할을 한다.
b 행렬은 y 절편을 열벡터에 한꺼번에 더해주는 역할을 한다.
본래 (X, d) 차원이었던 X 행렬은 (n, p) 차원으로 변환된다.
RNN
RNN
시퀸스 데이터(sequence)
* 소리, 문자열, 주가 등 순차적으로 진행되어야 하는 데이터.
* 독립동등분포(iid, independent and identically distributed)를 위배하기 쉽다.
* 가령, '개가 사람을 물었다'와 '사람이 개를 물었다'는 데이터 분포, 빈도, 의미 등 모든 것이 바뀐다.
* 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포가
베이즈 통계학
이것도 고등학교 때 배운 내용들이 많은데 까먹은 것도 많다...
위 조건부확률은 사건 B가 일어났을 때, 사건 A가 발생할 확률을 의미.
베이즈 정리
위 수식은 A라는 새로운 정보가 주어졌을 때, P(B)로부터 조건부확률을 계산하는 방법을 제공한다.
베이즈 정리