11 为什么信息还有单位？如何计算信息量？

质量单位，定义参照物体的质量，比较待测物体相对于参照物体的倍数。

信息量单位

• 抛硬币正反不确定性

  • 50% 正 50% 反

  • 测得信息量的单位被称为比特 bit

  • 待测事件相当于多少参照事情，使用对数计算

    • 选择题 ABCD，相当于抛 2 次硬币

计算

• 均匀分布 $\log_2 m$

• 一般分布 $\sum p_i \log _2 p_i^{-1}$