把互信息写成KL散度的形式

p(y)p(y)p(y)表示变量y的分布；

p(y∣x)p(y|x)p(y∣x)表示已知x的情况下y的分布；

KLKLKL表示两个分布之间的差异；

ExE_{x}Ex​表示按变量x求期望。

由此可以看出，互信息其实就是：已知x之后y的分布 和 原始y分布 之间差异的期望。