가능도

통계학에서 가능도(可能度, 영어: likelihood) 또는 우도(尤度)는 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값이다. 구체적으로, 주어진 표집값에 대한 모수의 가능도는 이 모수를 따르는 분포가 주어진 관측값에 대하여 부여하는 확률이다. 가능도 함수는 확률 분포가 아니며, 합하여 1이 되지 않을 수 있다.

정의

확률변수 $X$가 모수 $\theta$에 대한 확률분포 $P_{\theta }(X)$를 가지며, $X$가 특정한 값 $x$으로 표집되었을 경우, $\theta$의 가능도 함수 ${\mathcal {L}}(\theta |x)$는 다음과 같이 정의된다.

${\mathcal {L}}(\theta |x)=\Pr(X=x|\theta )$

로그 가능도(영어: log likelihood)는 가능도 함수의 로그이며, 확률 변수가 독립 확률 변수로 나누어지는 경우와 같이 확률 분포 함수가 곱셈 꼴로 나올 때 미분 계산의 편의성을 위해 사용한다. 로그 함수는 단조 증가하기 때문에, 가능도 함수에서 극값을 가지는 위치와 로그 가능도에서 극값을 가지는 위치는 같다. 따라서 가능도 함수를 미분하여 극값을 구하는 대신, 로그 가능도를 미분하여도 같은 결과를 얻을 수 있다.

만약 확률 변수 $X$가 $X=(X_{1},X_{2},\cdots ,X_{n})$의 꼴로 주어져 있으며, $X_{i}$이 확률 분포로 $P_{i,\theta }(X_{i})$를 가진다면 가능도 함수와 로그 가능도 함수는 다음과 같다.

${\mathcal {L}}(\theta |x)=P_{\theta }(X=x)=P_{1,\theta }(X_{1}=x_{1})P_{2,\theta }(X_{2}=x_{2})\cdots P_{n,\theta }(X_{n}=x_{n})$

$\log {\mathcal {L}}(\theta |x)=\log P_{1,\theta }(X_{1}=x_{1})+\log P_{2,\theta }(X_{2}=x_{2})+\cdots +\log P_{n,\theta }(X_{n}=x_{n})=\sum _{i}\log P_{i,\theta }(X_{i}=x_{i})$

예 1

예를 들어, 어떤 동전을 던져서 나오는 결과를 확률 변수 $X$라고 한다면, 이 변수는 앞($\uparrow$)과 뒤($\downarrow$)의 두 값을 가질 수 있다. 동전을 던져 앞이 나올 확률이

$\Pr _{\theta }(X=\uparrow )=\theta$

로 주어지는 경우, 동전을 세 번 던져 앞, 뒤, 앞이 나왔을 때의 $\theta$의 가능도는

${\mathcal {L}}(\theta |\uparrow \downarrow \uparrow )=\theta \cdot (1-\theta )\cdot \theta =\theta ^{2}(1-\theta )$

가 된다. 가능도 함수를 적분하면

$\int _{0}^{1}{\mathcal {L}}(\theta |\uparrow \downarrow \uparrow )\,d\theta =\int _{0}^{1}\theta ^{2}(1-\theta )\,d\theta =1/12$

이므로, 가능도는 확률 분포가 아님을 알 수 있다.

예 2

동전을 던져서, 앞면(H)이 나오는 확률을 $p_{\text{H}}$ 라고 하자. 이때, 앞면이 두번 나오는 확률은 $p_{\text{H}}^{2}$이다. 만약 $p_{\text{H}}=0.5$ 일 경우, 두번 모두 앞면이 나올 확률은 0.25이다:

$P({\text{HH}}\mid p_{\text{H}}=0.5)=0.25.$

이를 통해, 관측결과가 HH 라면, $p_{\text{H}}=0.5$ 의 가능도는 0.25라고 말할 수 있다.

${\mathcal {L}}(p_{\text{H}}=0.5\mid {\text{HH}})=P({\text{HH}}\mid p_{\text{H}}=0.5)=0.25.$

그러나 이것은 관측결과가 HH라면, $p_{\text{H}}=0.5$ 의 확률은 0.25 이라고 말하는 것과 같지 않다.

이를 위해서는 베이지안 추론의 개념이 필요하다. 특히, 베이 즈 정리 (Bayes 's theorem)는 사후 확률 (밀도)이 가능도 (likelihood)과 사전 확률에 비례함을 말한다.

물리적인 동전이 던져지면, 어떤 물리적 장치에 결함이 있기 때문에 $p_{\text{H}}$가 정확히 0.5 일 확률은 0이다. 동전의 가장자리는 약간 경사지고 질량 분포는 결코 완벽하지 않다.

이렇게 하면 $p_{\text{H}}$에 대한 분포가 생성된다. 더욱이, 동전의 특징은 약간의 불균형을 일으키며, 이 분포의 평균조차도 정확하게 0.5가 아닐 가능성이 높다. 그러나, 공정하게 불공평한 동전, 즉 $p_{\text{H}}$가 분명히 0.5보다 크거나 (0.5 미만인) 동전을 찾는 것은 어려울 수 있다.

같이 보기

• 조건부 확률
• 최대 엔트로피 원리