文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然图像的稀疏编码小议
侵权投诉

自然图像的稀疏编码小议

硕士论文集

自然图像的稀疏编码小议

1.简介

人类视觉系统如何对外界信息的获取与整理一直是脑科学和神经科学以及心理学的热门领域。目前已经有了初步的视知觉机理以及相关的编码模型的研究结果。

基于人们对目前已经掌握的知识的理解,为了能够表示所有外界输入模式,处理视觉信息的神经感知系统所需的神经元数量将是非常庞大的,而现有的神经感知系统没有那么多的神经元,却可以有效地表示所有的外界输入模式。针对该问题,Barlow 最先认识到信息论在神经科学中的重要性,他提出神经处理过程的一个重要约束就是信息或者编码的有效性。

也就是说,为了充分利用神经系统的可计算资源,一组神经细胞必须尽可能多的编码外界信息。

Olshausen and Field进一步提出了稀疏编码模型,稀疏编码模型是一个线性叠加模型,它通过定义稀疏性约束来优化学习得到类似于简单细胞响应特性的基函数。我们可以从两方面来解释稀疏编码原理。首先,对作用于同一刺激的神经元群来说,稀疏编码指在作用于同一刺激的神经元群中,并不是所有的神经元都被激活,相反,只有极少数的神经元被激活。

如图 0所示,其中黑点代表个别的神经元,黑点的面积越大说明这个神经元在输入图像的刺激下有着越强烈的响应。其次,对作用于输入刺激集合的单个神经元来说,稀疏编码指该神经元响应的分布具有稀疏特性。根据以上所述,一个神经元群中的神经元在大部分时间都是不激活的,很自然地,单个神经元响应的概率分布将在 0 附近有一个峰,而尾部很扁平,如图2中的实线所示,正态分布的曲线与之相比要平滑得多。从信息论的角度看,在具有相同均值和方差的概率分布中,正态分布具有最大的熵,而稀疏分布的熵则少的多。

从研究方式上讲,稀疏编码研究主要可以分为两条路线:直接的方法是从生物机理上,在自然图像刺激条件下检测神经细胞的响应特性,即机理测试;另外一个替代的方法是利用自然图像的统计特性,建立模型模拟早期视觉系统的处理机制,称为做功能模拟。

在机理测试方面,近年来有很多实验检测了在自然图像或者图像序列刺激下,视神经细胞的响应特性,这些研究用不同的方法测试视神经细胞编码的有效性,绝大部分的实验结果验证了稀疏编码假设。神经生理学的研究表明,每个神经细胞都携带统计无关的信息成分。在视网膜和侧膝状体神经元之间,在神经束的有限带宽条件下,视觉系统最优化地传输外部信息;然后,V1 区的神经细胞把传入的最优化刺激转换为稀疏编码,而且这些神经细胞表示着自然场景的独立信息成分。这种稀疏编码将促进对视觉系统高级视觉区域的理解,也能增加模式识别的有效性。

在功能模拟方面,研究者首先考察外部环境刺激的统计特性,根据特定的统计优化准则建立响应模型,然后与初级视皮层中神经细胞的响应特性(神经生理学)进行比较。

这方面的研究成果很多,如:Olshausen 和 Field, Bell 和 Sejnowski,Simoncelli 和Schwartz 等都提出了各自的模型来试图解释视觉感知系统的信息处理过程,这些模型通过线性变换来模拟神经元细胞的相互作用。为了克服线性变换的局限,最近很多学者提出了用非线性变换来模拟视皮层中神经细胞的功能。

有效编码假设理论在外界刺激的统计特性和神经细胞的响应之间建立一个相对准确的数量联系,这种联系无论从生物神经学角度还是可计算模型角度都有广泛的应用。最近研究者利用稀疏编码模型来产生具有高阶自然统计特性的人工合成图像,实验结果表明这些模型和结果都可以改进神经生物学实验。稀疏编码理论研究怎样把外界刺激模式转换为有效的内部表示,从模式识别的角度看,它实现了一个特征抽取的过程。稀疏编码从信息论的角度指导怎样提取外部刺激模式的特征,用尽可能精简有效的特征表示外部模式。

2.统计理论背景

稀疏编码模型认为,每幅自然图像都可以看成多个基函数的线性组合。这是因为基函数对应着自然图像局部的时频域特征,当图像在某一频率和方向上有最明显的特征时,与之对应的神经元就有最强烈的响应,而其他神经元不响应。因此,当把自然图像投影到这些基函数张成的特征子空间上时,只有一小部分神经元同时处于活跃状态,产生对该幅图像的稀疏表示。

第1页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email