sunghogigio

Sign in Subscribe

DL

CNN key concept

CNN ILSVRC * ImageNet Large-Scale Visual Recognition Chagllenge * Classification, Detection, Localization, Segmentation * 1000 different categories ![](/assets/images/CNN key concept/4cf1564c-fafb-425d-8e60-9030768a67e7-image.png) 2015년도를 기준으로 사람보다 error rate가 낮아졌다. 참고로 저 '사람'은 어느 테슬라 개발자가 직접 해봤다고 한다. 이후에 설명할 CNN Model들은 해당 대회에서 검증이 됐다고 한다. AlexNet ![](/assets/

weight init

다른 캠퍼분이 정리해주신 내용이 있는데 공유한다. https://velog.io/@hanlyang0522/weight-init을-하는-이유 정리하면, weight init을 0으로 하지 않는 이상 문제는 없다. 자동으로 해주기도 하고, 실습에서 강사님께서 하신것처럼 pytorch 빌트인 함수를 통해 init을 하는 경우 기본 init과 동일하기 때문이다. 다만, 0으로 하면 학습이 안될 수도 있다.

Convolution

Convolution 수식으로 역할 원하는 feature를 뽑을 수 있다. 가령, 모든 kernel의 값이 1/9인 (3,3) kernel을 사용했다고 하자. 그러면 평균을 구하는 convolution 연산이 된다. tensor channel이 3개인 RGB이미지를 가정해보자. 이 이미지에 (5,5) filter를 적용한다고 하면, 3개의 channel을 가진 filter를 적용한다고 생각하면 된다. 가령, 위와 같이 RGB 이미지에 (5,

Optimizer 실습

colab 설정 %config InlineBackend.figure_format='retina' matplotlib와 같은 출력물의 해상도를 retina로 설정 노이즈 n_data = 10000 x_numpy = -3+6*np.random.rand(n_data,1) # y_numpy = np.exp(-(x_numpy**2))*np.cos(10*x_numpy) y_numpy = np.exp(-(x_numpy**2)

DL

DL 모호하게 알고 있던 내용들을 부캠강의에서 명료하게 정리해줬다. 당연한 이야기들도 많은데 그냥 다 정리했다. 갖춰야할 능력 * 구현 능력 * 수학 능력(Linear algebra, probability) * 최신 트렌드의 논문들을 많이 알고 있는 것 정의 ![](/assets/images/DL /ca2391dc-7082-4d0c-9318-adaf8ae8d212-image.png) AI = 사람의 지능을 모방하고자 한다 ML = 데이터 기반으로 문제 풀이 접근 DL = 데이터 기반으로

pytorch

init parameters pytorch에서 자동으로 해주기는한다. 하지만 수동으로 parameter를 원하는대로 초기화해야하는 경우가 분명 발생한다. 이를 수동으로 해결하는 방법은 기본적으로 아래와 같다. class MultiLayerPerceptronClass(nn.Module): """ Multilayer Perceptron (MLP) Class """ def __init__(self,name='mlp',xdim=784,hdim=256,ydim=10): super(MultiLayerPerceptronClass,self)

Optimization

부캠 강사님께서 용어에 대해 확실히 알고 가라고 하셨다. 어제(21.08.09) 선택과제 2번의 AAE에 대해서 알아보다가 기겁을 했다. 한 문장 안에서 모르는 단어를 세는 것보다, 아는 단어를 세는게 빨랐다. 분명 영어로 쓰여있는데 외계어 같았다... 인턴을 하면서, 졸업프로젝트를 하면서 혼자 독학으로 잡다하게 지식을 쌓아올린 폐해라고 생각한다. ML 분야에서 사용되는 용어들만이라도