엔트로피 최대화

엔트로피가 최대화되도록 최적화시키면 어떻게 될까?

1번식은 엔트로피 공식이다.

2번 식은 엔트로피 공식에 라그랑주 승수법을 적용한 것이다.

여기서 라그랑주 승수법이란 무엇이냐하면 조건이 있는 최적화 문제를 조건이 없는 최적화 문제로 변형하여서 푸는 것이다.

예를들어, 조건이 g(x,y)이고 최적화 문제가 f(x,y)라고 할 때, 다음과 같은 방식으로 라그랑주를 적용할 수 있다.

결국엔 아래 식과 같이 미분값이 0이 나오는 것을 구해야한다.

3번 식은 2번식을 미분해서 0으로 만드는 것이고,

4번식은 3번식을 푼 것이다.

그래서 결국 p(x)는 정규분포가 나온다!! 두둥!!

엔트로피를 최대화하면 정규분포가 나온다니,,,,

신기하다!