专注细节
努力进步

标签:互信息

机器学习

PRML–信息论的几个关键概念

burness阅读(732)评论(0)

信息量 信息量可以看做一件事的惊讶程度,当概率很低但是发生时,我们认为信息量大,但是当事情一定发生,我们认为信息量为0;故,信息量定义公式为:h(x)=−log2p(x),,其中底为2是信息论的传统,可以选择,信息量单位为bit 熵 ent […]