含有适当特性的矩阵A,同时A一般考虑到稀疏逼近的环境,像压缩感知一样依赖随机性是不可取的。因为它很难证明在最优参数方法中确保稀疏还原(s中m的线性取决于对数因子),理论保证不足于解随机矩阵。这个法则的例外之处在14章谈到。其复原保证来自于随机选取的信号。
稀疏逼近和压缩感知的第二个不同之处出现在目标错误估计。压缩感知中,我们一般关心系数水平中的错误
,其中X和
是各自初始的和重建系
,所
数向量,而在稀疏逼近中,目标是近似给予的Y和稀疏扩张以我们对
感兴趣。关于
的估计让步于
的估计,但是反过来一般不对。
最后我们简单的讨论一些信号和图像进程的稀疏逼近应用。
? = Ax?的稀疏逼近y?。接着?压缩。假设我们找到了一个信号Y和系数向量x?意味着只用存储非零系数x?。由于x?是稀疏的,相比原始信号Y项的存储,存储y?只需要非常小的内存。 x? = y + e,e表示噪音向量其?去噪。假设我们研究一个信号Y的噪音版本y中e??,接下来任务是去除噪音和原始信号Y的较好逼近。一般来说,如果对y一无所知,这个问题是不适定的。然而,假设y可以利用稀疏扩张很好表示。一
?的一个稀疏逼近。更精确的,我们理论上选取la最小种合理的方法包含在选取y?。??Ax?作为降噪?中的y来代替已知的信号y化问题(P0,η)的解x接着我们构造y后y的版本。对于一个便于处理的计算方法,它通过一种压缩感知(稀疏逼近)算法代替了非确定性多项式困难问题(P0,η),例如,l1最小化变量重点考虑噪音,或者叫做基追踪降噪问题。
?数据分离。假设一个向量
是两个或多个成分的组成。这个问题
出现在一些信号进程任务中。例如,天文学家想在图像的细微处分离点体系(星,
星系团)。一个声音处理任务包含从短波中分离和声部分(纯正弦波)。没有附加的假设,这些分离问题是不适定的。然而,如果两种组分y1 和 y2在程序库中有不同特性(例如正弦波和尖峰信号)的分开的表达方式(a1, . . . , aN1)和(b1, . . . , bN2)。接着环境变化了。我们可以写
其中矩阵向量
条件下确定系数向量X,以此导出两种组分
。
有纵列a1, . . . , aN1 , b1, . . . , bN2。
稀疏。压缩感知方法允许在一定
和
数据纠正
在一般现实数据传输装置中,偶尔会出现部分数据错误。为了克服这种不可避免的事情,一种策略是收集这这些错误确保他们以后不经常出现。
假设我们要传输一个向量
。一种标准策略是编码长度N=n + m,
B?RN?n的向量v?Bz?RN。直观的,B(考虑到N >n)中可以帮忙辨认出传输
错误。数目m反应出余部的总量。
假设接收测量w?V?x?Rm 其中x表示传输错误。假设在转化成x的稀疏度时传输错误不会经常发生,表示为x0?s。对于编码部分,我们构建一个矩阵
A?Rm?N叫做广义校验矩阵,令AB = 0,也就是说,所有行的A和所有列的B垂直
相交。然后我们构建广义校验
y=Aw=A(v+x)=ABz+Ax=Ax
我们使用矩阵A得到标准压缩感知问题和稀疏错误向量X。在适当的条件下,这本书中的方法允许还原X和相应的原始传输向量v = w – x。然后解过定方程
组
v = Bz推导出数据向量Z。
为了计划的具体性,我们选择一个矩阵A?Rm?N作为合适的压缩感知矩阵,如高斯随机矩阵。然后我们以这个方法选取矩阵B?Rm?N使n + m = N,它的列
和A的行成正交补,因此保证AB=0.由这些设定,我们可以收集许多和Cm/ln(N/m)一样大的信息错误。
统计和机器学习(能力) 统计回归的目的是根据确定的输入数据预测结果。一般选用线性方程y=Ax+e,其中A?Rm?N—一般称之设计或预测矩阵—收集输入数据Y表示输出数据,e表示
一个随机噪音向量。
向量X是一个需要从数据中估计的参数。在一个统计结构中,一般使用标记法(n, p)代替(m,N),但我们保留下后一个以保持连贯。
在临床研究中,举例来说,输入Aj,k可能指第j位病人那一行的血压、体重、身高、基因数据,表示一定的特征,等等。对应的输出
可能是另一个相关量,
例如,第j位病人得某种病的可能性。有了m位病人的数据,回归目标是要适合于模型,也就是说定下参数向量X。
实际上,参数N的数量远大于观测数量m,所以即使没有干扰,在没有更多假设的情况下是无法解出适当的参数X的。然而在许多情况下,只有一小部分参数对预测做出贡献,但是这些有影响的参数是推理出来的未知数。这导致了向量x稀疏,再一次我们得到了标准压缩感知问题。统计项中,定下一个稀疏参数向量相当于选择相关解释变量,也就是x的支集。这也会涉及模型选择。
这本书中提到的方法也适用于这种情况。然而,这种情况与噪声向量e的随机性一般步骤存在轻微的背离。特别是,不同二次约束一般考虑称之为LASSO(最小绝对收缩选择算子)
最小化问题(1.4),
对一个适当的正则化参数τ,其依赖于噪音的变化。更多的变化称之为丹齐格选择
或择λ。
规则化问题(有时候叫做LASSO或基追踪降噪)再一次为了适合的选
我们将不再关注统计背景,但是我们简单的提及接近最优统计估计特征可以在A情况下,在LASSO和丹齐格选择中同时展现。它和下一章中的问题类似。
在机器学习中出现一个密切相关的回归问题。给予任意随机的样本
其中tj是一些输入参数向量同时yj是一个标量输出。我们希望从接下
来输入数据t中预测输出数据y。将输入t和输出y联系起来的模型是
y=f(t)+e
其中e表示随机噪音。目标是通过培养信号
来获得函数f。没有有关
f的更多猜想,这将是一个不可能的任务。因此,我们假设f在已知的函数ψ1,. . . , ψN
的程序库有一个稀疏扩大,也就是说函数可以写成
其中x是一个稀疏向量。提出输入为
的矩阵A?Rm?N 我们获得模型y=Ax+e,目标是为了估计稀疏系数向量x。这和上面提到的问题有同样的构造,相同的评估程序包括LASSO和丹齐格选择应用。
低阶矩阵还原和矩阵完成
最后,让我们通过它的一些应用讨论下压缩感知的扩展。不局限于还原一个

