吉布斯不等式

吉布斯不等式說明:

約西亞·吉布斯

,且,則有:

,等號成立當且僅當

資訊論概率論,它能應用在法諾不等式訊號源編碼定理的證明。

約西亞·吉布斯在19世紀提出它。

證明

編輯

吉布斯不等式等價於:

 (見相對熵

證明最右的項小於或等於0的方法有幾種:

  • 已知  ,等號成立當且僅當  
 


 

引理

編輯

對於n個變量的概率分佈P,其的最大值是: