10 老师，我没有传纸条作弊，我在学习信息论

学习观10四格版：什么是信息（定性） - 知乎 (zhihu.com)

[[05 思维导图原理：人生与高手之差]]

• 明确任务输入输出

• 将信息压缩成知识

• 例子重塑大脑连接

• 拆分知识分而治之

熵与信息的定义

• 当一件事情有多种可能情况时，这件事情对某人而言具体是哪种情况的不确定性叫做熵。

• 能够消除该人对这件事情不确定的事情叫做信息。

• 信息描述是一个观察者确定一个宏观态是哪个微观态时需要的物理量

熵与信息数量相等，意义相关。消除熵 = 获取信息

• 噪音是信息获取的干扰

• 数据是信息 + 噪音

信息的种类，本质是正确的调整每个可能情况（微观态）的概率

• 调整概率

• 排除干扰

• 能够直接确定某件事情的实际情况

例子：当小明不会某道数学选择题时（正确答案是C），正确答案[[宏观态]]是 ABCD 哪个（每个可能选项叫[[微观态]]）的不确定性就是熵。

• 宏观态是不考虑内部细节的状态，而微观态是考虑具体细节的状态。

概率 VS 熵

• 概率是某件事情（宏观态）某个可能情况（微观态）的确定性

• 熵是某人对某件事情（宏观态）到底是哪个情况（微观态）的不确定性

• 熵的输入是变量（宏观态）

熵与信息的性质

• 媒介无关，同一个观察者，对同一件事情接受到的信息与用于传递信息的信号形式无关。

• 相对观察者

  • 例子中如果观察者已知问题的答案，就不存在不确定性。观察者对这道题的熵都为 0bit

  • 如果观察者不知道答案，不确定最大，熵为 2 bits

• 客观物理量，虽然信息是相对于观察者而言的，但信息是客观的物理量，不随观察者的主观意识改变。

  • 主观认知不会实际消除观察者对事情的不确定性

• 相对于事件

导图