信息理论正在改变机器学习概念

特色 188体育投注登录

研究人员提出了矛盾的想法,以广泛接受的机器学习工作。来自惠灵顿麻省理工学院和大学的科学家将该算法应用于典型的分类示例。

根据信息理论,深神经网络在层内存储编码信息。初始图层将信号保持为项目的分类。在神经网络中,中间层保持信息,这有助于数据的映射。原始数据转换为中间信号,系统预测和压缩。通过这个过程,通过信息的瓶颈形成的高级概念。

ML可以将拉布拉多群体与马提尼眼镜群组

然而,尽管有成功的应用,最近的研究否定了信息瓶颈的概念。科学家发现,对于常见的分类,每个输入只有一个正确的输出。因此,神经层不承载预测信息。馈送到神经网络的输入的“普通”信号的存在也使研究复杂化。因此,表示较弱,压缩和预测之间的变化更宽。

因此,研究人员说,信息瓶颈不会以人类所做的方式识别压缩。然而,该理论确实持有较少的确定性任务。例如,通过大型数据集的天气预测可能是信息瓶颈的准确描述。

一个纸张,标题为“确定性情景中的信息瓶颈”的注意力解释了科学家的发现。科学家不能压力足够的压力,瓶颈在典型的机器学习问题上违反造成的。而且该实验预计将在机器学习界中传播对其的意识。

发表评论