内容简介
在大数据时代,信息科学必须发展信息表征、获取及复原的新理论、新方法。基于信号的稀疏性,“稀疏感知”用少量的测量数据实现高质量的信号复原,缓解大数据信息问题的压力。
实现稀疏感知的关键是:(1)有效地获取数据,(2)有效地处理数据,实现信息复原。对于数据获取,《稀疏感知导论》研究了信号稀疏性与信号采样之间的关系,讨论了压缩感知、矩阵填充、稀疏反卷积和相位复原等稀疏感知问题,从三个不同的角度讨论了测量矩阵的设计。对于数据处理和信息复原,《稀疏感知导论》研究了梯度迭代优化算法、Bayesian算法和信息传递算法;特别地针对大数据处理问题,《稀疏感知导论》研究了乘子交替迭代优化算法、随机坐标优化算法和随机梯度优化算法等;《稀疏感知导论》还讨论了若干贪婪算法。
内页插图
目录
目录
前言
符号使用和约定
缩写词表
绪论 1
参考文献 5
第1章 信号采样、表征与稀疏感知 8
1.1 Nyquist-Shannon 采样定理 8
1.2 信号表征 15
1.2.1 信号的确定性表征 15
1.2.2 信号的一般性统计描述 17
1.2.3 白化信号的统计表征 19
1.3 稀疏信号与稀疏感知 22
1.3.1 信号的稀疏性与表征 22
1.3.2 稀疏感知问题 24
附录1A 广义信号采样方法 27
参考文献 29
第2章 稀疏感知的若干数学问题 31
2.1 压缩感知 31
2.2 低秩矩阵感知 41
2.3 稀疏卷积感知 45
2.4 相位复原 49
附录2A 三个常用的概率不等式 52
参考文献 53
第3章 RIP 分析与 L1-正则化优化 55
3.1 广义 RIP 定义及其特性分析 55
3.2 广义 RIP 与 L1-最小化 64
3.3 广义 RIP 与 L1/L2-最小化 67
3.4 统计 RIP 与 L1 最优化 70
3.5 最优测量矩阵设计 (1) 75
附录3A L1 优化估计的无偏性分析 77
参考文献 81
第4章 贪婪算法 82
4.1 匹配追踪算法 82
4.1.1 正交匹配追踪算法 82
4.1.2 CoSaMP 算法 85
4.2 迭代硬门限算法 92
4.3 低秩矩阵感知的迭代硬门限算法 99
4.3.1 低秩矩阵的硬门限投影 99
4.3.2 迭代硬门限方法复原低秩矩阵 103
附录4A SURE 估计 104
参考文献 106
第5章 梯度类凸优化方法 108
5.1 凸优化的有关概念 109
5.1.1 凸函数的定义及基本性质 109
5.1.2 拉格朗日乘子法 114
5.1.3 Fenchel 共轭函数 116
5.1.4 Bregman 距离 118
5.2 基于 Nesterov 光滑化方法的梯度优化方法 120
5.2.1 Nesterov 光滑化 120
5.2.2 梯度迭代算法的一般性描述 122
5.2.3 加速梯度迭代优化方法 131
5.3 邻近算子方法 137
5.3.1 邻近算子 138
5.3.2 迭代软门限方法 141
5.3.3 加速迭代软门限方法 145
5.4 亚梯度与 Bregman 算法 146
附录5A Wirtinger 导数 150
附录5B Pareto 曲线 151
附录5C 基于深度神经网络的迭代软门限算法 153
附录5D 最优测量矩阵设计 (2) 155
参考文献 156
第6章 面向大数据的优化方法 158
6.1 乘子交替迭代优化方法 158
6.1.1 稀疏优化问题的拉格朗日方法 158
6.1.2 ADMM 算法 161
6.1.3 Scaled-ADMM 算法 163
6.1.4 ADMM 算法的收敛性 165
6.2 随机梯度优化方法 169
6.3 随机坐标优化算法 176
6.3.1 随机坐标优化算法及收敛性分析 176
6.3.2 加速随机坐标优化算法 181
6.4 Robust 优化方法 183
6.5 维度约化 186
6.5.1 主成分分析 186
6.5.2 线性判别分析 188
6.5.3 流形学习 193
附录6A 增强拉格朗日乘子法在矩阵分解中的应用 195
参考文献 196
第7章 贝叶斯分析 198
7.1 贝叶斯分析的基本概念 198
7.1.1 贝叶斯建模 200
7.1.2 贝叶斯方法与确定性方法的关系 212
7.2 最大期望算法 216
7.3 Laplace EM-贝叶斯分析 220
7.3.1 Laplace 信号建模 221
7.3.2 Lapalce 模型的 EM-贝叶斯算法 223
7.4 最大期望-变分贝叶斯算法 227
7.5 混合高斯模型的 EM-贝叶斯分析 234
7.5.1 标准 EM-贝叶斯算法 235
7.5.2 基于分层模型的 EM-贝叶斯算法 239
7.6 基于蒙特卡罗的贝叶斯分析 242
7.6.1 蒙特卡罗采样的 Metropolis 算法 242
7.6.2 限制 Boltzmann 机 246
7.6.3 对比散度算法 247
附录7A 常用的概率密度函数表 250
附录7B 贝叶斯分析在盲反卷积中的应用例 251
附录7C 最优测量矩阵设计 (3) 254
附录7D 稀疏高斯随机过程 254
附录7E 重要性采样 256
参考文献 259
第8章 信息传递算法 262
8.1 信息传递算法基本概念 262
8.2 求解 y = Ax + n 的信息传递算法 267
8.2.1 Sum-Product 近似信息传递算法 270
8.2.2 Max-Product 近似信息传递 275
8.3 Gaussian-Bernoulli 稀疏感知近似信息传递算法Ⅰ:Krzakala 方法 280
8.4 Gaussian-Bernoulli 稀疏感知近似信息传递算法Ⅱ:Schniter 方法 289
附录8A 对 Max-Product 传递模式和 Sum-Product 传递模式的进一步 讨论 296
参考文献 298
前言/序言
我们有幸生活在全球科技发生许多重大突破的时代,信息大爆炸、大数据一定程度上反映了当今时代的特点。21世纪初“稀疏感知”(Sparse Sensing)在信息科学掀起一场“革命”。“稀疏感知”利用信号的稀疏特性,用低于甚至远低于Nyquist采样率获取的信号离散样本,通过高性能的优化算法实现信号的完美重建。“稀疏感知”使信息的获取摆脱了传统信息论的“桎梏”,在信息论、图像处理、模式识别、微波成像、地球科学、天文观测、光学、无线通信等诸多领域受到极大关注,被美国的权威科技评论杂志评为2007年度十大科技进展。时代要求有创新力的科学家和工程技术人员必须掌握先进的数据处理的理论和方法,有能力从海量数据中高效率地提取所需要的目标信息。我们在应用稀疏感知方法研究电磁成像中深刻认识到,稀疏感知为复杂、多参数、电磁大数据问题的研究打开了新的窗口,并决心构建稀疏电磁感知的体系,为解决现有的电磁成像体制与信息处理中的困难开辟新途径。
稀疏感知是传统经典信息理论与方法的发展,但又有它自己全新的概念和方法。我们整理了十多年来在学习、工作、研究中积累的有关内容,参考国外的有关教材、专著和近年一些新的研究成果,形成本书。这里重点关注那些与实际应用密切相关的理论要点和算法核心技术,希望能有益于从事或将从事以及有兴趣于此领域的读者,帮助他们能以比较容易理解的方式进入,并消化、吸收、应用这个新的信息感知的理论和技术。
作者十分感谢得到上海交通大学“李政道图书馆”的惠允,提供抽象画《流光》原稿的扫描件作为本书的封面图。该画由诺贝尔物理奖获得者、著名物理学家李政道先生与中央工艺美术学院吴冠中教授合作,为1996年中国高等科学技术中心举办的“复杂性与简单性”国际学术研讨会而作。这幅具现代风格的抽象画,吴冠中美术大师“以点、线挥洒神韵,千变万化,化静为动,犹如乾旋坤转”*,在大师眼中“复杂的天地万物形态各异,运动不息,又互有联系,有其各自和共同的规律”,“复杂行为背后存在着简单的规律和描述方法”*,其科学内涵与本书理义相通。
本书基于我们多年的学习笔记和研究工作,凝聚了我们的心血;但自知管见所及有限,不足之处难免,诚望读者朋友及各位专家、学者不吝赐教。
最后,在书稿将成之际,铭记在成书过程中受到多位同事、亲人朋友的帮助和北京市教育局“优秀博士导师”项目资助,在此一并致谢。
稀疏感知导论 [Introduction to Sparse Sensing] 电子书 下载 mobi epub pdf txt