통계론
통계론
모수
통계적 모델링 = 적절한 가정으로 확률 분포를 추정하는 것
기계학습과 통계학이 공통적으로 추구하는 목표.
유한한 데이터만 관찰해서 모집단의 정확한 분포 예측은 불가능하다.
=> 근사적으로 확률분포 추정
모수적(parametric) 방법론
1. 데이터가 특정 확률 분포를 따른다고 선험적(a priori)으로 가정
2. 그 분포를 결정하는 모수(paramter)를 추정
비모수(
ML
확률론
작년에 lieklihood 관련해서 정리하면서도 이해가 잘 되지 않았던 내용들이다. 부캠 내용들 위주로 다시 재정리했다.
확률론
딥러닝은 확률론 기반의 기계학습 이론이 바탕이다.
확률분포
데이터 공간 (X x y)에서 확률분포 D는 데이터 공간에서 데이터를 추출하는 분포.
이 때, y가 상정됐기 때문에 정답 레이블이 있는 지도 학습을 기준으로 설명한다.
확률 변수
확률
Gradient descent 증명
이 또한 notion에 여러번 정리했엇던 내용이다. 부캠에서 배운 내용만을 기준으로 재정리해봤다.
그 동안 정리했던 gradient descent의 내용은 아래 링크에 있다.
https://naem1023.notion.site/Gradient-descent-429308fbd0184aaab90c0ac50e90b526
https://naem1023.notion.site/ML-68740e6ac0db42e9a01b17c9ab093606
Gradient descent
사용 목적
이전 포스팅에서는 gradient descent를 사용하여 선형회귀분석을 알고리즘적인 구조만 만들어봤다. 이번에는 수학적으로 어떻게 쓰였는지 알아본다.
선형회귀분석에서의 사용
Gradient descent 기본
여러번 notion에 정리했던 내용인데 부캠에서 배운 내용 중심으로 다시 정리해봤다.
미분
import sympy as sym
from sympy.abc import x
sym.diff(sym.poly(x**2 + 2*x + 3), x)
Gradient ascent(경사상승법)
f(x)
미분값을 x에 더하며 함수의 극대값의 위치를 구할 때 사용.
즉, 목적함수를 최대화해야 할 때 사용.