1. 项目概述当人脸图像“看不清”时我们如何让它“变清晰”在安防监控、老旧照片修复甚至手机摄影中我们常常会遇到一个令人头疼的问题人脸图像的分辨率太低关键细节模糊不清导致身份识别困难或视觉体验不佳。这就是“人脸超分辨率”技术要解决的核心痛点——从一张模糊的、像素化的低分辨率LR人脸图像中重建出一张清晰的、细节丰富的高分辨率HR图像这个过程也被形象地称为“人脸幻构”。传统的人脸超分辨率方法比如基于稀疏表示SR或邻域嵌入NE的算法其思路有点像“拼图”。它们有一个庞大的“碎片库”即训练字典里面存放着各种清晰的人脸图像块。当拿到一张模糊的人脸时算法会把它也切成小块然后为每一块模糊碎片在“碎片库”里寻找最匹配的几块清晰碎片最后把这些清晰碎片按原位置拼回去理论上就能得到一张清晰的人脸。这个方法在输入图像质量较好时效果不错。但现实很骨感。监控摄像头拍到的画面往往带有噪声、运动模糊或者因为光照不足而质量低下。这时候传统方法就有点“力不从心”了。为什么呢因为它们大多只在“像素值”的层面上去匹配和重建而忽略了图像更深层的“结构信息”。想象一下你要修复一幅古画如果只盯着每个颜料点的颜色去匹配很可能修复出来的纹理是错乱的。你必须理解这幅画的结构——哪里是平滑的天空哪里是笔触分明的树木哪里是人物的轮廓边缘——才能进行正确的修复。本文要深入解析的正是一种能同时捕捉图像深层结构和局部细节的强力方法基于局部约束低秩表示的人脸超分辨率。它不再把图像块看作一堆孤立的像素点而是将其视为一个整体挖掘其内在的“低秩”结构意味着这些像素点之间存在强烈的相关性和规律性同时利用“局部约束”来保证找到的清晰碎片在特征空间里和模糊碎片是“近邻”。这种双管齐下的策略使得算法在面对噪声、模糊等实际退化时依然能稳定地找到正确的重建路径输出质量更高、更自然的人脸图像。接下来我将带你一步步拆解这个技术的原理、实现细节以及我在复现过程中的实战心得。2. 核心思路拆解为什么“低秩”“局部”是黄金组合要理解这个方法的精妙之处我们得先看看它的前辈们遇到了什么瓶颈以及“低秩表示”和“局部约束”各自解决了什么问题。2.1 传统方法的局限当“稀疏”和“近邻”遇到噪声在超分辨率任务中我们通常有一个成对的字典低分辨率字典L和高分辨率字典H它们由训练图像库生成。对于一个输入的低分辨率图像块y算法的核心是求解一组表示系数α使得y ≈ Lα。然后我们用同样的系数α去组合高分辨率字典H得到高分辨率块x Hα。稀疏表示它的目标是找到最“精简”的表示即α中非零元素尽可能少。这就像用最少的几块关键碎片来拼出目标。问题在于这种“极简”选择在噪声干扰下很不稳定。噪声可能让算法选中一些在结构上并不匹配的碎片导致重建结果出现伪影。邻域嵌入/局部约束表示它的思路更直观为模糊碎片寻找特征空间中最相似的几个近邻碎片来重建。这保证了找到的碎片和目标是“像”的。但是如果噪声很大模糊碎片在特征空间中的位置会发生漂移可能“误入”其他类别的碎片群比如把带噪声的嘴角块匹配到了眼睛块的区域导致重建错误。这两种方法都有一个共同的潜在问题它们假设所有的碎片字典原子和输入碎片都位于同一个平滑的“子空间”或“流形”上。但实际上一张人脸图像包含多种结构平滑的面颊皮肤、规则的眉毛毛发、复杂的眼睛纹理、锐利的嘴唇边缘。这些不同结构的图像块本质上属于不同的子空间。传统方法在匹配时可能会跨子空间选择碎片就像用墙砖的碎片去修补木地板的纹理自然格格不入。2.2 低秩表示的破局之道挖掘“子空间一致性”“低秩”是一个来自线性代数的概念。简单来说一个矩阵的“秩”越低说明它的行或列之间的相关性越强包含的信息越冗余、越有规律。在图像处理中一个干净的、具有明确结构的图像块比如一片纯色的皮肤其像素矩阵往往是低秩的而一个被随机噪声污染的图像块其矩阵的秩会变高因为噪声破坏了规律性。本文的核心创新点就是在表示系数α的优化目标中引入了一个低秩正则化项||L diag(α)||_*。这里的diag(α)是把系数向量α变成对角矩阵L diag(α)这个操作相当于用系数α对低分辨率字典L的各个原子列进行加权。对这个加权后的矩阵求核范数一种对矩阵秩的凸松弛就是为了让选出来参与重建的那些字典原子对应α中值较大的位置本身也来自于一个低秩的子空间。这是什么意思呢我们要求被选中的这些字典原子它们彼此之间是高度结构相似的、有内在规律的。这就强制算法在进行匹配时不仅要看单个原子和输入块的相似度还要看被选中的这一组原子是否来自同一个“家族”例如都是“左眼眼角”的纹理结构。这相当于为匹配过程增加了一个“结构一致性”的约束能有效避免从互不相关的多个子空间里东拼西凑从而得到更稳定、更准确的重建系数。2.3 局部约束的保驾护航保证“特征空间邻近性”仅有低秩约束还不够。如果只追求低秩算法可能会选出一组彼此非常相似、但都离输入块很远的原子这显然不合理。因此必须保留局部约束||d ⊙ α||_2^2。这里的d是一个距离向量衡量了输入块y与字典中每个原子的相似度通常用指数衰减函数计算⊙是逐元素乘法。这个项会对距离远的原子施加更大的惩罚迫使系数α更多地分配给那些特征空间中的近邻原子。两者结合的优势局部约束确保了找到的碎片和目标是“像的”局部性而低秩约束确保了找到的这一组碎片内部是“和谐一致的”结构性。这就好比你要为一个模糊的嘴角块寻找重建模板局部约束帮你圈定了“所有嘴角区域”的碎片而低秩约束则进一步从中筛选出“纹理方向、光照条件都一致”的那一小撮碎片。这种组合极大地提升了算法在噪声环境下的鲁棒性和重建的视觉保真度。2.4 统一框架一种更广义的表示学习有趣的是这个提出的局部约束低秩表示框架是一个更通用的形式。通过调整两个正则化参数λ(控制低秩) 和β(控制局部)它可以退化成之前的主流方法当λ 0, β ≠ 0它等价于局部约束表示。当β 0, λ ≠ 0低秩约束在特定条件下可以促进稀疏性近似于稀疏表示。当λ 0, β 0它退化为最基本的最小二乘表示。这意味着本文的方法并非凭空创造而是对现有主流表示学习框架的一次深刻归纳与提升为其提供了一个具有更强理论解释和更好性能的上层模型。3. 算法实现详解从公式到代码的每一步理解了核心思想我们来看如何具体实现这个算法。整个流程可以分为离线的字典构建和在线的图像重建两大部分。3.1 准备工作构建位置配对的字典这是所有基于样本学习的方法的基础至关重要。其目标是建立低分辨率块和高分辨率块之间精确的位置对应关系。训练数据准备收集大量高清人脸图像进行严格的对齐如根据眼睛、鼻尖位置并裁剪成统一尺寸如120x100像素的HR图像。这是保证后续“位置块”有效的前提。生成LR图像通过模拟成像系统的退化过程对HR图像进行下采样并添加模糊通常使用一个高斯模糊核得到对应的LR图像如30x25像素。这一步是为了让字典能学习到从LR到HR的映射关系。分块与向量化将每张HR图像和对应的LR图像按照相同的网格划分成重叠的小块例如HR块12x12重叠8像素LR块3x3重叠2像素。将每个图像块按行展开成一个列向量。按位置组装字典这是关键一步。对于人脸图像的第i个位置比如左眼瞳孔上方第5个块我们从所有训练图像中抽取这个相同位置的LR块向量堆叠成矩阵L_i的每一列同样地抽取相同位置的HR块向量堆叠成矩阵H_i。这样我们就得到了成百上千个位置配对的字典对{L_i, H_i}其中i遍历所有块位置。L_i和H_i的列是一一对应的共享同一个身份和表情。实操心得字典的质量直接决定上限。对齐步骤必须精确否则位置信息错乱重建的人脸会五官扭曲。建议使用Dlib或MTCNN等工具进行关键点检测和仿射变换对齐。此外训练集的人脸多样性肤色、姿态、表情、光照要尽可能覆盖应用场景否则字典泛化能力不足。3.2 核心优化求解局部约束低秩表示系数对于输入LR图像的每一个位置块y_i我们需要求解其对应的表示系数α_i。优化问题如下α_i argmin { ||y_i - L_i α_i||_2^2 λ ||L_i diag(α_i)||_* β ||d_i ⊙ α_i||_2^2 }其中d_i是距离向量d_i[j] exp(-||y_i - L_i[:, j]||_2^2 / σ)σ是带宽参数。这个目标函数包含三项数据保真项||y_i - L_i α_i||_2^2要求重建的LR块尽可能接近输入块。低秩正则项λ ||L_i diag(α_i)||_*要求选中的字典原子构成的子空间是低秩的。局部约束项β ||d_i ⊙ α_i||_2^2要求系数更多地分配给近邻原子。这是一个带有核范数正则化的复杂优化问题。原文采用了交替方向乘子法来高效求解。ADMM的思路是通过引入辅助变量和拉格朗日乘子将原问题分解为几个更易求解的子问题交替迭代更新。具体步骤如下引入辅助变量令Z L_i diag(α_i)将问题转化为min { ||y_i - L_i α_i||_2^2 λ ||Z||_* β ||d_i ⊙ α_i||_2^2 } s.t. Z L_i diag(α_i)构造增广拉格朗日函数L(α_i, Z, Λ) ||y_i - L_i α_i||_2^2 λ ||Z||_* β ||d_i ⊙ α_i||_2^2 tr(Λ^T (L_i diag(α_i) - Z)) (μ/2) ||L_i diag(α_i) - Z||_F^2其中Λ是拉格朗日乘子矩阵μ是惩罚参数。交替更新更新 Z低秩矩阵固定α_i和Λ关于Z的子问题是一个核范数最小化问题其解可以通过对矩阵(L_i diag(α_i) Λ/μ)进行奇异值阈值收缩得到。这是ADMM中处理低秩项的标准操作。更新 α_i系数向量固定Z和Λ关于α_i的子问题是一个二次规划问题可以直接求导得到解析解一个线性方程组的解。更新乘子和参数按照规则更新拉格朗日乘子Λ和惩罚参数μ以促进约束条件的满足。迭代上述步骤直到收敛例如约束违反||L_i diag(α_i) - Z||小于某个阈值即得到最优系数α_i。注意事项ADMM算法的收敛速度和结果对初始化和参数μ、ρ比较敏感。通常将α_i、Z、Λ初始化为零矩阵μ设为一个较大的数如1e6ρ设为1.1左右进行缓慢递增。需要监控原始残差和对偶残差来判定收敛。3.3 图像重建与多层增强单层重建得到系数α_i后对应的高分辨率块简单地通过x_i H_i α_i获得。然后将所有重建的HR块{x_i}按照其原始位置拼合起来。由于块之间有重叠重叠区域的像素值通常取平均以得到最终的HR图像X。多层增强这是提升性能的关键技巧。受深度学习思想启发作者将上述过程堆叠成多层。第一层输入是原始LR图像Y使用初始字典{L_i^1, H_i^1}即原始训练字典进行重建得到输出X^1。第二层将X^1下采样回LR尺寸作为新的输入Y^2。然后采用“留一法”更新字典对于每个训练样本用它重建其他所有样本从而生成一组更贴合当前中间结果的、更新后的LR字典L_i^2。HR字典H_i^1保持不变或对应更新。再用新字典对Y^2进行LLR重建得到X^2。可以继续堆叠更多层。实验表明两层LLR2就能带来显著提升更多层收益递减且计算成本剧增。为什么多层有效第一层的重建结果X^1虽然还有瑕疵但已经比原始LR图像Y包含了更多高频信息和更准确的结构。以它为起点进行第二层重建相当于在一个更好的“初始估计”上进行优化。同时更新后的字典L_i^2更贴近X^1下采样后的特征减少了LR-HR字典之间的“域间隙”使得表示学习更加准确。这个过程类似于一种精修迭代。4. 关键参数调优与实验分析任何机器学习算法都离不开参数调优。LLR方法主要有两个关键参数低秩正则化强度λ和局部约束强度β。4.1 参数影响分析λ (低秩参数)控制低秩约束的强度。λ越大对表示矩阵L_i diag(α_i)的低秩性要求越高算法会倾向于选择更少、更相关的字典原子增强抗噪声能力但可能丢失一些细节。λ过小则低秩约束失效退化为局部约束方法。β (局部参数)控制局部约束的强度。β越大算法越看重近邻原子重建结果越平滑但可能过于保守而缺乏锐利细节。β过小则局部性减弱可能引入不相关的原子。原文通过网格搜索在FEI人脸数据库上针对4倍超分辨率任务找到了一个较优的参数组合λ 0.01,β 0.4。但这绝不是万能值。4.2 参数调优实战指南在我的复现实验中总结出以下调优经验固定β调λ先将β设为一个中等值如0.1。在验证集上从小到大调整λ例如[0.001, 0.01, 0.1, 1]观察峰值信噪比和主观视觉效果。目标是找到在抑制噪声和保持细节间的平衡点。通常在干净图像上λ可以小一些在噪声图像上λ需要增大。固定λ调β用上一步找到的最佳λ再调整β例如[0.01, 0.1, 0.4, 1, 4]。β主要影响重建的锐利度。如果结果看起来太模糊可以适当减小β如果结果噪声放大或有不连贯的块效应可以增大β。噪声自适应如原文表2所示面对不同噪声水平最优参数是不同的。一个实用的策略是预先估计输入图像的噪声水平例如通过平坦区域计算然后根据经验映射到一组预设的(λ, β)参数对上。评估指标不要只看PSNR峰值信噪比。PSNR与人类主观感受有时不一致。一定要结合SSIM结构相似性和FSIM特征相似性来看并且最重要的是进行主观视觉评价。在调试时我习惯将不同参数的结果并排显示快速判断哪个看起来更自然、细节更清晰、伪影更少。4.3 性能对比实验解读原文在FEI和CMU人脸库上进行了详尽的对比实验竞争对手包括LLE、LSR、SR、LCR以及当时新兴的SRCNN。结论非常明确无噪声环境LLR尤其是两层LLR2在PSNR、SSIM、FSIM指标上全面领先包括超越了基于深度学习的SRCNN。视觉上LLR重建的人脸在眼睛、嘴巴等细节区域更清晰更接近原始HR图像。有噪声环境这是LLR大放异彩的场景。随着高斯噪声强度增加所有方法性能下降但LLR下降最慢鲁棒性最强。SR和LSR方法会放大噪声LCR有一定抗噪性但会出现块效应SRCNN因为训练数据干净对噪声泛化能力差。LLR则能有效平滑噪声的同时保持结构输出结果最为干净、自然。真实监控场景在低光照、低质量的真实监控图像上LLR同样表现出色能有效提升人脸的可辨识度而其他方法则会产生严重的伪影或无法有效去噪。这些实验强有力地证明了引入低秩约束对于提升超分辨率算法鲁棒性的有效性。它不仅仅是一个数学上的技巧而是抓住了噪声环境下图像重建的本质需求——恢复并保持图像的结构一致性。5. 实战复现代码实现核心与避坑指南理论很美好但代码实现才是检验真理的唯一标准。以下是我在复现LLR算法时的一些核心代码片段和踩过的坑。5.1 核心函数ADMM求解器import numpy as np from scipy.linalg import svd def solve_llr_admm(y, L, lambda_, beta, max_iter100, tol1e-6): 使用ADMM求解局部约束低秩表示系数。 参数: y: 输入LR块向量 (l,) L: LR字典 (l, p) lambda_: 低秩正则化参数 beta: 局部约束参数 返回: alpha: 最优表示系数 (p,) l, p L.shape # 初始化 alpha np.zeros(p) Z np.zeros((l, p)) Lambda np.zeros((l, p)) # 拉格朗日乘子 mu 1e6 rho 1.1 # 计算局部距离权重d dist np.sum((y[:, np.newaxis] - L) ** 2, axis0) sigma np.median(dist) # 带宽参数的一种启发式设置 d np.exp(-dist / sigma) d d / np.max(d) # 归一化到[0,1] D np.diag(d) # 对角矩阵 # 预计算一些矩阵加速迭代 LtL L.T L LtL_plus_mu LtL mu * LtL # 注意这里简化了实际需根据公式(12)构建 # 公式(12)中与alpha相关的矩阵是 (L^T L beta * D^T D mu * L^T L) # 我们提前计算这个矩阵的逆因为它在迭代中不变如果d不变 # 注意原文公式(12)中有一项 mu * L^T L但推导来自合并两个子问题此处为示意实际需严格按公式实现 # 以下为示意性迭代框架 I np.eye(p) for i in range(max_iter): # --- 更新 Z (奇异值阈值收缩) --- G L np.diag(alpha) Lambda / mu U, S, Vt svd(G, full_matricesFalse) S_thresh np.maximum(S - lambda_ / mu, 0) # 软阈值收缩 Z_new U np.diag(S_thresh) Vt # --- 更新 alpha (求解线性系统) --- # 根据公式(12)需要构建线性方程组 A * alpha b # A L^T L beta * D^T D mu * L^T L (这里需要仔细推导) # b L^T y mu * L^T Z_new 1 - L^T Lambda 1 (1是全1向量) # 注意原文公式(12)中的 1 是全1向量用于将矩阵运算转为向量运算。 # 此处为简化示意实际实现需严格按论文公式进行矩阵向量化操作。 # 一个更清晰的实现方式是使用向量化技巧将 diag(alpha) 与矩阵乘法转化为 alpha 与矩阵的哈达玛积等。 # 由于涉及复杂矩阵变换以下给出思路而非直接代码 # 1. 将约束 Z L diag(alpha) 向量化vec(Z) (I ⊗ L) vec(diag(alpha)) # 2. 但 vec(diag(alpha)) 有一个性质可以简化。 # 鉴于实现复杂度许多复现者会采用现成的优化库如CVXPY来求解这个带核范数的优化问题虽然慢但保证正确。 # 示意性更新不准确仅表示流程 # 实际中建议使用凸优化工具包或仔细推导12式后的线性方程组形式。 A LtL beta * (D.T D) mu * LtL # 注意此A不准确仅示意 b L.T y mu * np.diag(L.T Z_new) - np.diag(L.T Lambda) # 此b不准确仅示意 alpha_new np.linalg.solve(A, b) # --- 更新乘子 Lambda --- R L np.diag(alpha_new) - Z_new # 约束残差 Lambda_new Lambda mu * R # --- 检查收敛 --- primal_residual np.linalg.norm(R, fro) if primal_residual tol: print(fADMM converged at iteration {i1}) break # --- 更新惩罚参数 mu --- mu min(rho * mu, 1e10) # 为下一次迭代赋值 Z Z_new alpha alpha_new Lambda Lambda_new return alpha重要提醒上述代码中的更新 alpha部分是一个高度简化的示意。原文公式12的推导涉及将diag(α)视为变量进行矩阵求导最终得到关于向量α的线性方程组。直接实现这个推导需要熟练的矩阵论和向量化技巧。对于大多数实践者我强烈建议在首次复现时使用像 CVXPY、PyTorch带有自定义核范数损失或 MATLAB 的 CVX 工具包来求解这个凸优化问题。先保证结果的正确性再考虑用纯NumPy实现ADMM进行效率优化。5.2 字典构建与图像分块def build_position_patch_dictionaries(hr_imgs, lr_imgs, patch_size12, overlap8, scale4): 构建位置配对的HR和LR字典。 参数: hr_imgs: 列表每个元素为对齐后的HR人脸图像 (H, W) lr_imgs: 列表每个元素为对应的LR人脸图像 (H/scale, W/scale) patch_size: HR块大小 overlap: HR块重叠像素数 scale: 超分辨率倍数 返回: hr_dicts: 字典key为位置索引value为HR字典矩阵 (patch_size**2, num_samples) lr_dicts: 字典key为位置索引value为LR字典矩阵 ((patch_size/scale)**2, num_samples) hr_dicts {} lr_dicts {} lr_patch_size patch_size // scale lr_overlap overlap // scale num_imgs len(hr_imgs) # 假设所有图像尺寸相同 h, w hr_imgs[0].shape # 计算网格划分 hr_stride patch_size - overlap lr_stride lr_patch_size - lr_overlap num_patches_h (h - patch_size) // hr_stride 1 num_patches_w (w - patch_size) // hr_stride 1 total_patches num_patches_h * num_patches_w for idx in range(total_patches): hr_dicts[idx] [] lr_dicts[idx] [] for i in range(num_imgs): hr_img hr_imgs[i] lr_img lr_imgs[i] patch_idx 0 for y in range(0, h - patch_size 1, hr_stride): for x in range(0, w - patch_size 1, hr_stride): # 提取HR块并向量化 hr_patch hr_img[y:ypatch_size, x:xpatch_size] hr_vec hr_patch.reshape(-1, 1) # (patch_size**2, 1) # 计算对应的LR块位置注意对齐通常中心对应 lr_y, lr_x y//scale, x//scale lr_patch lr_img[lr_y:lr_ylr_patch_size, lr_x:lr_xlr_patch_size] lr_vec lr_patch.reshape(-1, 1) # (lr_patch_size**2, 1) hr_dicts[patch_idx].append(hr_vec) lr_dicts[patch_idx].append(lr_vec) patch_idx 1 # 将列表转换为矩阵 for idx in hr_dicts: hr_dicts[idx] np.hstack(hr_dicts[idx]) # (hr_dim, num_samples) lr_dicts[idx] np.hstack(lr_dicts[idx]) # (lr_dim, num_samples) return hr_dicts, lr_dicts, num_patches_h, num_patches_w5.3 避坑指南与经验总结内存爆炸构建完整的位置字典非常消耗内存。例如1000张训练图每张图产生数百个块每个块向量维度是14412x12或93x3。一个位置的字典矩阵就是(144, 1000)。如果有上千个位置内存占用巨大。解决方案a) 使用硬盘存储字典按需加载。b) 使用PCA或随机投影对字典进行降维。c) 减少训练样本数或使用更紧凑的字典学习如K-SVD先对每个位置的字典进行学习而不是使用所有原始块。速度瓶颈ADMM迭代求解每个块的速度很慢尤其是SVD操作。处理一张人脸图像成百上千个块可能需数分钟。解决方案a) 并行化。每个位置块的求解是独立的可以轻松使用多进程Pythonmultiprocessing或GPU加速将SVD等操作放在CUDA上。b) 优化代码预计算L^T L等不变矩阵。c) 考虑使用更快的优化算法近似求解但可能损失精度。块效应尽管重叠取平均能缓解但在纹理复杂或噪声大的区域块与块之间的衔接仍可能不自然。解决方案a) 增加重叠区域的比例。b) 在拼接后使用一个轻量的后处理滤波器如导向滤波进行平滑。c) 尝试在目标函数中加入全局平滑约束如全变分正则化但这会大大增加计算复杂度。参数敏感性与泛化在FEI库上调好的λ和β换到另一个数据库如CelebA可能效果变差。解决方案对于新的应用场景必须在代表性的数据子集上重新进行参数调优。可以考虑使用验证集进行自动网格搜索。与深度学习的对比本文发表于2017年对比的SRCNN是较早期的深度学习模型。如今基于GAN如ESRGAN、GFP-GAN、Transformer如SwinIR的超分辨率方法在视觉效果上已远超传统方法。LLR的价值在于其可解释性和在极小样本下的潜力。当你有大量高质量配对数据时无疑应选择深度学习。但当数据稀缺如特定领域的监控人脸或者你需要一个轻量、无需训练、可解释的解决方案时LLR这类基于表示学习的方法仍有其用武之地。6. 扩展思考与未来方向尽管LLR在噪声鲁棒性上表现优异但它也存在一些局限这也指明了可能的改进方向计算效率这是最大短板。ADMM迭代中的SVD计算是O(n^3)复杂度。未来的工作可以探索更快速的低秩近似算法如随机SVD或者设计专用的神经网络层来近似低秩表示的过程实现速度与性能的平衡。全局一致性LLR是分块处理的缺乏对整张人脸全局结构如对称性、五官相对位置的约束。可以结合全局人脸先验如通过一个浅层网络提取的人脸特征约束或人脸解析图分割出眼睛、鼻子、嘴巴等区域分别应用不同的字典或参数来提升全局协调性。深度表示本文的多层LLR可以看作一个浅层网络。一个自然的延伸是构建更深的“表示网络”每一层都进行字典学习和LLR重建或许能学习到更层次化的特征进一步提升性能尤其是对于大尺度因子如8倍、16倍的超分辨率。在线自适应目前的字典是离线、固定不变的。在实际应用中如果有一段视频序列可以利用前后帧的信息在线更新字典使其适应特定人物的表情、姿态变化实现自适应的超分辨率。总而言之基于局部约束低秩表示的人脸超分辨率技术通过巧妙地融合“局部相似性”和“全局结构性”先验为传统表示学习方法注入了新的活力。它不仅在理论上统一了多种方法更在实践上特别是在对抗噪声等真实退化方面提供了一种强大而有效的工具。虽然如今深度学习风头正劲但理解这类经典算法的核心思想对于设计更高效、更鲁棒的新模型依然具有不可替代的启发价值。
