信息熵最初定义信息理论的鼻祖之一Claude E. Shannon把信息（熵）定义为离散随机事件的出现概率
所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率
而信息熵和热力学熵是紧密相关的
根据Charles H. Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的
而产生信息，则是为系统引入负（热力学）熵的过程
所以信息熵的符号与热力学熵应该是相反的
一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高
我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值
这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论
以上内容由大学时代综合整理自互联网，实际情况请以官方资料为准。
