확률론
작년에 lieklihood 관련해서 정리하면서도 이해가 잘 되지 않았던 내용들이다. 부캠 내용들 위주로 다시 재정리했다.
확률론
딥러닝은 확률론 기반의 기계학습 이론이 바탕이다.
확률분포
데이터 공간 (X x y)에서 확률분포 D는 데이터 공간에서 데이터를 추출하는 분포.
이 때, y가 상정됐기 때문에 정답 레이블이 있는 지도 학습을 기준으로 설명한다.
확률 변수
확률
Latest
통계론
통계론
모수
통계적 모델링 = 적절한 가정으로 확률 분포를 추정하는 것
기계학습과 통계학이 공통적으로 추구하는 목표.
유한한 데이터만 관찰해서 모집단의 정확한 분포 예측은 불가능하다.
=> 근사적으로 확률분포 추정
모수적(parametric) 방법론
1. 데이터가 특정 확률 분포를 따른다고 선험적(a priori)으로 가정
2. 그 분포를 결정하는 모수(paramter)를 추정
비모수(
베이즈 통계학
이것도 고등학교 때 배운 내용들이 많은데 까먹은 것도 많다...
위 조건부확률은 사건 B가 일어났을 때, 사건 A가 발생할 확률을 의미.
베이즈 정리
위 수식은 A라는 새로운 정보가 주어졌을 때, P(B)로부터 조건부확률을 계산하는 방법을 제공한다.
베이즈 정리
Gradient descent 증명
이 또한 notion에 여러번 정리했엇던 내용이다. 부캠에서 배운 내용만을 기준으로 재정리해봤다.
그 동안 정리했던 gradient descent의 내용은 아래 링크에 있다.
https://naem1023.notion.site/Gradient-descent-429308fbd0184aaab90c0ac50e90b526
https://naem1023.notion.site/ML-68740e6ac0db42e9a01b17c9ab093606
Gradient descent
사용 목적
이전 포스팅에서는 gradient descent를 사용하여 선형회귀분석을 알고리즘적인 구조만 만들어봤다. 이번에는 수학적으로 어떻게 쓰였는지 알아본다.
선형회귀분석에서의 사용
Gradient descent 기본
여러번 notion에 정리했던 내용인데 부캠에서 배운 내용 중심으로 다시 정리해봤다.
미분
import sympy as sym
from sympy.abc import x
sym.diff(sym.poly(x**2 + 2*x + 3), x)
Gradient ascent(경사상승법)
f(x)
미분값을 x에 더하며 함수의 극대값의 위치를 구할 때 사용.
즉, 목적함수를 최대화해야 할 때 사용.
Matrix, Vector
Matrix
1학년 공수, 선대 이후로 수학 지식들이 삭제됐다.. 되새기는 겸으로 numpy 기호들과 기록.
Annotation
scalar calculation
numpy에서 +, - 가능.
scalar product
Hadmard Product : 은 모양의 vector끼리 성분곱하는 것
X · Y
X * Y
Norm
원점에서부터 벡터까지의 거리.
L1 norm = 변화량의 절대값의 합
L2 norm = 유클리드
Python nested function
Nested function by decorator
Nested function
함수를 중첩하여 사용가능하다. 일차원적으로 함수를 나열하는 것이 아니라, 복잡한 구조의 함수 결합체를 생성 가능.
Via decorator
기존의 방식으로는 매우 복잡하게 서술되는 함수 구조를, decorator를 통해 단순하게 표현 가능.
def start(func):
def inner_func(*args, **kwargs):
print("*" * 30)
func(*args, **kwargs)
print(