聯合熵是一集變量之間不確定性的衡量手段。
獨立的(H(X),H(Y)), 聯合的(H(X,Y)), 以及一對帶有互信息 I(X; Y) 的相互關聯的子系統 X,Y 的條件熵。
兩個變量
和 
的聯合信息熵定義為：
![{\displaystyle \mathrm {H} (X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/220447cf946a5f6ebec1b070262ac46cbd51f20f)
其中 
和 
是 和 的特定值, 相應地, 
是這些值一起出現的聯合概率, 若
為0，則![{\displaystyle P(x,y)\log _{2}[P(x,y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/33023e90bccb1921379d4b2368ce7c89ee728254)
定義為0。
對於兩個以上的變量 
，該式的一般形式為：
![{\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bd53689842055d4ff858acc7bbc5a53a227edbee)
其中 
是 的特定值，相應地，
是這些變量同時出現的概率，若
為0，則 ![{\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/45d2b2bd535cc3d9c9e463415a4a81bf4eb6194c)
被定義為0.
大於每個獨立的熵
編輯
一集變量的聯合熵大於或等於這集變量中任一個的獨立熵。
![{\displaystyle \mathrm {H} (X,Y)\geq \max[\mathrm {H} (X),\mathrm {H} (Y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9f31fc48a1999ae5e59551e3fec9b91f9932fba1)
![{\displaystyle \mathrm {H} (X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/223015d92c0fe6279c2434caa2bc60fe40a65868)
少於或等於獨立熵的和
編輯
一集變量的聯合熵少於或等於這集變量的獨立熵之和。這是次可加性的一個例子。該不等式有且只有在 和 均為統計獨立的時候相等。
與其他熵測量手段的關係
編輯
在條件熵的定義中，使用了聯合熵
互信息的定義中也出現了聯合熵的身影：
在量子信息理論中， 聯合熵被擴展到聯合量子熵。
