Chater1 - Probability theory

- 불확실성 (uncertainty) 이 발생하는 이유

.충분하지 못한 데이터

.관찰된 데이터의 noise

 

- Probability theory : 불확실성을 정확하고 정량적으로 표현하는 수학적 프레임 워크 제공

- Decision theory : 불완전하고 모호한 정보로부터 최적의 예측안을 마련

 

- 확률의 법칙

 

- 확률 밀도 (Probability densities)

 

 

- 평균과 공분산 (Expectations and covariances)

연속 함수의 평균

분산의 표현

 

 

*Covariance (COV, 공분산) : 두 개 이상의 확률변수의 상관 정도 (인과관계를 나타내지는 않음)

 

 

- 베이지언 확률 (Bayesian probabilities)

.확률을 고려 할 때, 빈도론자 (Freuqentist) 는 발생한 사건에 대한 빈도를 고려

.베이지언 관점은 확률의 개념을 빈도가 아니라, 모든것은 불확실하며 확률은 불확실성에 대한 믿음의 정도로 해석

 (정량화는 함)

.회귀 문제의 경우 weight 는 고정된 값으로 고려되나, 베이지안 방식에서는 모든 값이 확률이므로 w 를 하나의 확률 변수로 고려함. 베이즈 법칙을 이용하여 w에 대한 불확실성을 기술 할 수 있음

.p(w) : w의 불확실한 정도, parameter 의 prior distribution

.실제 데이터를 통해 예측한 w의 확률 (likelihood) 를 조합하여 실제 w의 사후 확률 (posterior) 를 기술

- Likelihood in frequentist

.w는 고정된 파라미터

.Maximum likelihood 와 같은 방법으로 추정, p(D|w) 을 최대로 하는 w를 구함.

- Likelihood in Bayesian

.w를 랜덤 변수로 간주하여 확률 분포로 사용. D 는 고정

.w는 고정된 값으로 얻어지는 것이 아니라 확률 함수 등 으로 얻어짐

(물론 실제 사용시에는 확률 함수의 mean, mode 값을 대신 사용)

 

- 가우시안 분포 (Gaussian distribution) (정규 분포)

 

- Bayesian 관점에서의 Curve fitting

 

- 베이지언 커브 피팅 (bayesian curve fitting)