討論:熵 (信息論)

標題文本

熵，熵的增加原理 用英文怎麼說？

熵的增加原理 應該是熱力學的題目吧 ? SDiZ 08:43 2005年7月9日 (UTC)

信息量

使用書寫單元越多的文字，每個單元所包含的信息量越大。

這一句... 似乎有問題吧？句子越長，所含的信息量不一定越大。還是我有什麼誤解？

英文版類似的句子是If all the outcomes (letters in the example above) are equally likely then increasing the number of letters should always increase the entropy.。 這一句是有前設$P_{1}=P_{2}=\cdots =P_{n}$的。 -- SDiZ 08:49 2005年7月9日 (UTC)

即使不等概這結論也是大致成立的，因為可以算平均信息量（也就是熵拉）。比如有幾萬個漢字的漢語，每個字的信息量要比拼音文字中每個字母的信息量大。--Alexcn 09:11 2005年7月9日 (UTC)

幾萬個漢字的漢語跟二十數字的英語比較, 當然漢字的信息量比較大。但當然也會有例外……例如 系統1: $S=\left\{\alpha ,\beta \right\}\,P=\left\{{\frac {1}{2}},{\frac {1}{2}}\right\}$ 跟 系統2:$S'=\left\{\alpha ,\beta ,\gamma \right\}\,P'=\left\{{\frac {9998}{10000}},{\frac {1}{10000}},{\frac {1}{10000}}\right\}$…… 符號$\alpha$ 在系統1 中的信息量比較大吧? .... 有錯請指正 -- SDiZ 14:20 2005年7月9日 (UTC)

是這樣。但是實際的文字系統不會出現S'的情況。而且對於S'完全可以將罕見的字符排除在外，這樣S'就只有一個字符了。就像漢字雖然上萬，但是常用的3000個字就佔到使用頻率的99%。另外比較某個特定字符的信息量沒什麼意義，只有平均信息量，也就是熵才能衡量不同文字系統承載信息的能力。英文每字母的熵大概是1.4bit，漢字大概不低於3bit。--Alexcn 05:36 2005年7月10日 (UTC)

標題

建議條目標題改成信息熵。--Alexcn 09:11 2005年7月9日 (UTC)

同意—以上未簽名的留言由104.128.86.127（對話）於2019年3月26日 (二) 12:31 (UTC)加入。

優良條目評選

熵 (資訊理論)（編輯 | 討論 | 歷史 | 連結 | 監視 | 日誌），分類：，提名人：10211who（留言） 2019年8月9日 (五) 14:30 (UTC)

投票期：2019年8月9日 (五) 14:30 (UTC) 至 2019年8月16日 (五) 14:30 (UTC)
下次可提名時間：2019年9月15日 (日) 14:31 (UTC)起
請記得為當選條目撰寫簡介頁面，如此當選條目才有可能出現在首頁。

• (＝)中立：提名人票。內容豐富10211who（留言） 2019年8月9日 (五) 14:30 (UTC)
• 不符合優良條目標準：來源明顯不足--Z7504非常建議必要時多關注評選（留言） 2019年8月9日 (五) 14:54 (UTC)

---

根據優良條目標準有關「即時不合標準」的條文：「1.與六個優良條目標準的任何一個有較大差距」（條目違反優良條目標準2b：「所有內文引用來自可靠來源，包括直接引用、統計、發表的意見、受到挑戰或可能受到質疑的反直覺或有爭議的陳述，以及與在世人物有關的有爭議的材料」）、「3.它有或需要維護模板，毫無疑問仍然有效」，此條目屬於上述情況，我打算快速不通過結案。산모사 ^DC17_{GAN FLN} 2019年8月10日 (六) 11:42 (UTC)

問一下@VulpesVulpes825、Super Wang、Wolfch三位的意見如何，基本可以快速結案，但好像沒有此種先例處理過。--Z7504非常建議必要時多關注評選（留言） 2019年8月10日 (六) 12:53 (UTC)

我認為之後有必要就何時快速關閉作出規範。산모사 ^DC17_{GAN FLN} 2019年8月10日 (六) 13:46 (UTC)

應該可以直接按照及時不合標準快速關閉該條目評選。我是希望優良條目標準在未來可以成為方針。-- VulpesVulpes825 (留言) 2019年8月11日 (日) 01:16 (UTC)

既然Wikipedia:優良條目標準中有"即時不合標準"的內容，而此條目符合其中所述，因此贊成快速關閉此條目評選。--Wolfch (留言) 2019年8月13日 (二) 14:40 (UTC)

不合要求，理由見上，故未達標準--Z7504非常建議必要時多關注評選（留言） 2019年8月14日 (三) 03:28 (UTC)