信息论中,困惑度度量概率分布或概率模型的预测结果与样本的契合程度,困惑度越低则契合越准确。该度量可以用于比较不同模型之优劣。

概率分布的困惑度

编辑

离散概率分布 p 的困惑度由下式给出

 

其中 H(p) 是该分布的x 遍历事件空间。

随机变量 X 的复杂度由其所有可能的取值 x 定义。

概率模型的困惑度

编辑

词困惑度

编辑

参见

编辑