Nature Electronics：南京大学梁世军/缪峰团队提出 面向高鲁棒智能机器视觉的感内动态计算技术

智能机器视觉在预警侦察、安防监控、医学影像等领域有着广泛的应用前景，然而，在低对比度光学环境下，对弱目标的智能感知一直面临着准确率低与鲁棒性差的严峻挑战。这主要是由于，目标与背景光信号之间的强度差异很小，目标信号几乎被淹没在背景噪声中，采用传统半导体像元独立工作的静态光电探测技术无法从背景信号中准确区分出目标信号。因此，如何利用可兼容传统硅基技术且生长加工工艺较成熟的低维材料，开发新原理智能感知硬件，实现低对比度光学环境下的高鲁棒性、高精度光电智能感知技术成为领域内广泛关注的科学问题。

面对上述挑战，南京大学物理学院梁世军副教授、缪峰教授团队首次提出传感器内动态计算范式，实现了低对比度光学场景下弱目标特征的准确提取，展现了对弱目标的高鲁棒性、高精度识别与追踪能力。该方案的硬件实现是基于石墨烯/锗混合维度异质结构的多端口光电器件，通过在相邻器件之间引入信号交互与关联控制，根据图像局域光强梯度，动态调控卷积核权重，形成可自适应图像内容的传感器内动态卷积计算单元。

相关研究成果以“In-sensor Dynamic Computing for Intelligent Machine Vision”（面向智能机器视觉的传感器内动态计算）为题于2024年2月8日在线发表在国际电子学领域顶级期刊Nature Electronics（《自然·电子学》）上（https://www.nature.com/articles/s41928-024-01124-0）。同期《自然·电子学》“研究简报（Research briefing）”栏目以“Pixel-Correlated Computing for Detecting and Tracking Targets in Dim Lighting（用于弱目标检测与追踪的像素关联计算）”为题，对该研究成果进行了专题报道，评价该工作展示了“一种先进的感内计算技术（an advanced form of in-sensor processing technology）”。由于这类材料与器件的制备均可采用较为成熟的工艺，该技术有望实现大规模芯片级集成与系统级应用。

南京大学物理学院副研究员杨悦昆、南京理工大学潘晨副教授和南京大学物理学院副研究员李遗祥为该工作的共同第一作者。南京大学物理学院梁世军副教授和缪峰教授为该工作的共同通讯作者。共同作者还包括南京理工大学程斌教授、于文韬教授和中国科学院上海微系统所狄增峰研究员。该工作得到滚球体育 部国家重点研发计划项目、国家自然科学基金委优秀青年基金、国家自然科学基金委重点/面上/青年项目、中科院先导B项目、中央高校基本科研业务费、以及固体微结构物理国家重点实验室、人工微结构科学与技术协同创新中心等的支持。

首先，研究团队在图像传感器内构建了局域像元关联计算单元（图1），展示了该计算单元如何实现对图像中低对比度信息关键特征的准确提取 （图1a）。该计算单元由1个动态像元和8个静态像元组合而成（图1b），其中，所有静态像元的光电响应度是固定且一致的，而动态像元的光电响应度会随着周围8个静态像元的光电流输出特性进行动态调控。该计算单元的总输出信号是所有像元的光电流总和（图1c）。基于局域像元之间动态信号交互与关联控制的新型感内计算范式，革新了传统图像传感阵列中每个像元彼此独立工作的静态传感模式，为传感器在复杂光学场景下的弱目标精准探测提供了新的技术途径。

图1：局域关联感内计算原理示意图。(a) 感内动态计算芯片示意图；(b-c) 每个动态感受野内主动器件的光电响应度与周围被动器件的光电流输出相关联。动态感受野内的被动器件具有固定且一致的光电响应度，其光电流反映了图像的局域灰度信息。

随后，研究团队制备了具有多端口可调控光电响应特性的光电传感器件（图2），用于实现上述局域动态关联感内计算。在结构上，器件具有由透明顶栅与底栅构成的垂直双栅结构，器件感光沟道由石墨烯/锗混合维度异质结构成（图2a-b）。在基本光电特性上，器件表现出典型的类似光电二极管的整流特征，并在反向偏压下表现出显著的光电响应行为（图2c-d）。研究团队发现器件光电流随光强呈现近似线性特征，这使得器件能够被用作被动器件（如图2e）。在给定光强下，器件光电流可同时受到顶栅与底栅的垂直调控，这使得器件同时还可用作主动器件，接收来自被动器件的反馈控制信号（图2f-i）。器件的光电响应多端口可调特性使得其可被用来实现局域动态关联感内计算硬件。

图2：多端口石墨烯/锗异质结器件的光电响应特性。(a) 器件结构示意图；(b) 器件光学照片；(c-d) 器件在两种不同极性偏置下的I-V特性；(e) 器件光电流随光强的变化；(f-g) 器件光电流随背栅电压的变化；(h) 器件光电流在顶底双栅调控下的变化；(i) 器件光电流在给定背栅下，随光强与顶栅偏压的变化。

利用器件光电响应顶栅与底栅双端口可调的特点，研究团队首先展示了一维关联计算（图3）。该局域关联单元由周围两个被动器件和中间的主动器件构成（图3a）。三个器件的底栅提供各自光电响应度的基准，主动器件的顶栅用于在初始基准上提供额外的反馈调控端口。三个器件的初始光电响应度比例关系为1:-2:1。一维动态关联单元的工作逻辑为：首先根据两个被动器件的光电流差值（反映了图像的局域光强梯度），对主动器件的光电响应度进行二值化调控。如果差值高于设定阈值，则减小主动器件光电响应度的绝对值，相当于放大了三个器件的总和光电流；如果差值低于或者等于阈值，则维持主动器件的光电响应度初值。最后三个器件的总光电流作为最终计算结果。与传统的标准卷积操作（光电响应度始终保持不变）相比，研究团队提出的传感器内动态关联计算方法可以对局部微小的光强差异进行放大输出（图3b-c），对于低对比度下弱目标轮廓与边缘的选择性放大与增强提取具有重要意义。

图3：基于多端口石墨烯/锗异质结光电器件的一维关联计算。(a) 计算单元的电路结构示意图；(b-c) 传统卷积处理与感内动态计算在三种光强分布下的光电流输出结果。

在此基础上，研究团队进一步制备了3*3石墨烯/锗光电器件阵列，展示了二维动态关联信息处理功能（图4）。类似于一维情况，首先通过如图4a的阵列获得图像的局域光强（灰度）梯度，随后将该梯度与阈值进行比较，根据比较结果对主动器件的光电响应度进行二值化调控，最后输出单元内所有器件的总光电流（图4b）。利用该阵列和外围控制电路（图4c），研究团队成功提取了昏暗走廊中站立的人的轮廓特征（静态场景，图4d）以及背景对比度变化条件下的飞行无人机的准确轮廓特征（动态场景，图4e）。而采用传统光电卷积无法准确地获得这些轮廓特征。

图4：二维局域关联感内计算的硬件及应用展示。(a) 石墨烯/锗异质结器件阵列的光学照片；(b) 由9个器件构成的动态感受野的操作逻辑流程图；(c) 动态感受野的电路结构示意图；(d-e) 两种典型场景下的弱目标特征提取实验结果，分别是昏暗走廊中站立的人与背景变化条件下的飞行无人机。

最后，研究团队将上述感内动态计算技术与单层人工神经网络（ANN）相结合，展示了该技术在复杂环境中弱目标的高精度、高鲁棒识别方面的应用潜力 （图5）。与传统卷积处理相比，感内动态计算技术能够更有效地放大弱目标的边缘轮廓特征。在后端神经网络算力相同的情况下，感内动态计算技术能在对比度恶化的条件下，依然稳健地实现较高的识别率，表明了感内动态计算技术在低对比度条件下弱目标的精准特征提取与高鲁棒识别的能力。该工作为智能机器视觉系统在复杂与极端光学场景中的应用提供了通用且可行的技术途径。

图5：变化对比度条件下弱目标识别的鲁棒性。(a)对比度变化的图像特征提取结果与分类识别示意图；(b)五种不同对比度的数据集；(c) 不同数据集的平均对比度；(d) 传统光电卷积技术与感内动态计算技术的识别准确度对比。

论文地址：https://www.nature.com/articles/s41928-024-01124-0