Nature Communications:感存算一体的黑磷图像传感器

一、【引言】

二维材料具有优异的光电子特性，超宽的带隙调节范围，在光电子领域展现出了重要潜力。目前，二维材料在光子电路和微电子集成方面展现出了极大优势，能够实现更先进的功能集成化应用。黑磷(bP)作为一种具有宽光谱红外响应的二维材料受到广泛关注，研究人员已经实现了红外的离散、阵列和波导集成bP光电探测器的构筑，并且具有优异的性能。其中具有超宽的红外响应特性的bP光电探测器阵列在红外多光谱成像领域具有重要的应用前景。

目前，多光谱成像与人工神经网络结合已成为生物医学成像、食品分类和工业表面损伤检测等应用领域的有力工具。然而，这种多光谱成像技术产生的数据量大，计算量大，导致整个过程存在大延迟和高功耗的问题。边缘计算是一种在传感器端提前进行预计算处理的方法，能够有效减轻云端计算的负载压力，从而有效提高带宽预算，减少延迟和功耗。边缘计算的发展极大地推动了光电边缘传感器的发展，即在单个设备中同时集成视觉/感觉和计算等功能。利用bP材料制备这种光电边缘传感器能够将响应光谱扩展到红外范围，有望实现智能夜视和多光谱传感应用。

二、【成果掠影】

近日，华盛顿大学Mo Li和Ruoming Peng等人在Nat. Commun.上发表一篇题目为“Programmable black phosphorus image sensor for broadband optoelectronic edge computing”的文章。作者提出了一种感存算一体的多功能黑磷图像传感器。该多功能图像传感器由可编程少层bP光晶体管阵列构成，能够响应1.5 µm ~ 3.1 µm范围宽的红外光谱。bP-PPT的可编程性和存储性源于栅极电介质堆栈中的存储电荷具有较长的保留时间，并能有效地调节栅极电导和光响应率。该传感器不仅可以编程，还能通过电和光两种方式进行调制，实现光电传感器计算、电子内存计算和光学远程编程一体化。作者将bP-PPT可以作为光学前端，不仅能够用于捕捉红外多光谱图像，也可以执行图像处理和分类任务。该感存算一体的黑磷图像传感器件在家庭、农业和工业站点上的分布式和遥感等领域具有重要应用前景。

三、【数据概览】

图1可编程的bP晶体管阵列(bP-PPT)© 2022 The Authors

(a) bP-PPT阵列可实现多光谱红外成像，可编程进行传感器内计算。

(b) bP-PPT器件的结构示意图。

(c) 3×4阵列的bP- PPT器件的光学显微镜图像，比例尺:10 μm。

(d) bP-PPT器件的能带示意图。

(e) 9个bP-PPT器件的I_ds-V_G测量

图2 bP-PPT设备的混合模式编程和操作展示© 2022 The Authors

(a, b) 利用栅极电压脉冲(a)和光脉冲(b)进行编程的bP-PPT工作原理示意图。

(c) bP-PPT可以通过电编程5种不同的状态，固定脉冲持续时间为20毫秒。

(d) 器件在不同编程状态下的I-V特性，显示线性电导。

(e) bP-PPT可以光学编程实现36个可见脉冲。

(f) bP-PPT的光响应性覆盖近红外和中红外范围

图3 bP-PPT阵列成像与传感器计算的边缘探测© 2022 The Authors

(a) bP-PPT阵列接收多个波长波段的图像。阵列的光响应度矩阵被编程来表示卷积核，直接对光电子域内的图像进行预处理(红色虚线框)。然后对阵列的电导矩阵进行编程，以在电域(蓝色虚线框)中执行推理计算

(b) 在三个不同的电信波段传输的光功率中编码的原始输入图像。顶部:手写数字(56 × 56像素，S波段);中间:哈士奇犬(312×222像素，C波段);底部:摄影师(256×256像素，L波段)。

(c-f) 分别与右、上、左、下边缘核卷积后得到的图像。

(g) 结合了所有的边缘的最终图像

图4 bP-PPT阵列作为光电卷积神经网络(CNN)实现图像识别© 2022 The Authors

(a) 从MNIST数据集分类“0”和“1”手写数字的CNN模型。CNN由两个卷积核组成，平均池化层和全连接(FC)层。bP-PPT阵列捕获的图像在电域上进一步进行处理。

(b) 编程3 × 3 bP-PPT阵列，精度为5位，表示离线训练生成的两个核。

(c) 将bP-PPT阵列图像识别的实验结果与仿真结果进行比较。

(e) 对MNIST数据集中的100幅图像进行实验和模拟混淆表

四、【成果启示】

本文报道了一种可编程的黑磷光电晶体管阵列用于多功能红外图像传感器。通过光电控制栅介质层中存储的电荷，bP-PPT的电导和光响应度可以进行本地编程（电调控）或远程编程（光调控），可以实现5位精度的传感器内卷积神经网络。该传感器阵列不仅可以接收在红外宽光谱范围的光学图像进行推理计算，还能进行图像识别，精度达到92%。该bP图像传感器阵列可用于构建更复杂的视觉-感觉神经网络，在分布式和远程多光谱遥感中具有广阔的应用前景。

文献链接：Programmable black phosphorus image sensor for broadband optoelectronic edge computing, 2022,Nat. Commun., Doi: 10.1038/s41467-022-29171-1.