复旦大学周鹏&中科院上海技物所胡伟达团队Nat. Nanotech.：全在一的2D视网膜硬件器件，用于检测识别推车的运动  

【引言】

运动检测和识别（MDR）已经成为智能家居、人工视觉、安全监控、无人驾驶汽车和军事防御等多种智能场景的核心需求。目前最先进的MDR硬件系统由互补金属氧化物半导体（CMOS）图像传感器（CIS）平台主导，它由独立和冗余的像素传感阵列、模拟数字转换器、存储器和处理模块组成。然而，传统的CIS芯片需要大量的附加块和不同模块之间复杂的数据转换、传输、存储和处理操作，而先进的智能应用则追求便携性和效率。人类视网膜在获取运动信息方面具有很高的效率，各功能层的神经元和突触细胞在视觉信号的感知、转换、传输和提取方面发挥着明显的作用。视网膜通过整合高级视觉系统的信号感知、记忆和处理，消除了冗余和无用的视觉输入处理，极大地加快了运动目标特征的提取和检测。目前，受视网膜启发的视觉传感器正在兴起，其功能材料包括记忆氧化材料、2D材料及其异质结构。特别是，2D材料的电导率对外部光学刺激敏感，这使它能够感知光学信息，并将其转换为电信号进行传输和处理，类似于视网膜。与分立的CIS模块相比，视觉传感器具有集成的光学信号感应和计算能力，用于静态图像处理。然而，除了静态图像外，具有记忆能力的视网膜还显示出时间上的区分功能，这使得它们能够感知静态和移动目标。没有记忆能力的视觉传感器不能提取和处理运动信息，仍不是真正的视网膜形态硬件。简而言之，目前的视网膜模拟技术仅限于初级静态图像处理，而基于紧凑高效器件的高级复杂运动特征提取和检测仍未探索。

【成果简介】

近日，在复旦大学周鹏教授和中国科学院上海技术物理研究所胡伟达研究员团队等人带领下，提出了一种基于视网膜启发的2D异质结构的视网膜硬件器件，具有全在一的感知、记忆和计算能力，用于检测和识别移动推车。提出的2D视网膜器件感知光学刺激，产生渐进可调的正/负光反应并记忆它，结合帧间差分计算，实现100%的分离检测，移动三色手推车没有重影。将检测到的运动图像输入电导映射神经网络，在10%的噪声水平下，在短短4个训练周期内实现快速的手推车识别，超过了以前类似定制数据集的结果。集成了感知记忆和计算的2D视网膜器件的原型为构建紧凑、高效的MDR硬件提供了可能性。该成果以题为“All-in-one two-dimensional retinomorphic hardware device for motion detection and recognition”发表在了Nat. Nanotech.上。

【图文导读】

图1 受视网膜启发的2D视网膜硬件用于MDR

a，人类视网膜实现MDR的示意图。虚线箭头表示无长突细胞的调节作用。

b，受视网膜启发的全在一2D视网膜器件。

c，2D材料的光学感知和响应模拟光感受器的信号采集和转换；门脉冲可编程正、负非易失性开/关状态模拟双极细胞的拮抗分流和记忆；用于计算的激光强度、数量和宽度多调制模拟无长突细胞和神经节细胞的多信号调节能力，实现了高效的MDR。

d，器件结构及扫描透射电镜表征，显示了干净的界面。扫描透射电子显微镜和能量色散X射线谱图比例尺分别为5nm(左)和20 nm(右)。

图2 用于MDR的2D视网膜器件的光电导性

a，漏极电压调制下的基本PPC和NPC曲线。箭头表示激光刺激的时刻；当激光强度为2.73 nW时，PPC和NPC的激光持续时间分别为50和100 ms。

b，通过归一化激光强度调制光电流。

c，累进多能级状态下的累积正、负光电导率，其中激光脉冲持续时间分别为100 μs和5 ms，间隔时间均为1.5 s。

d，c中虚线处放大视图，将多态PPC和NPC的增量定义为PPC/NPC步长；均匀的PPC和NPC阶跃变化进一步证明了光电流的非易失性和出色的线性度。

e, PPC和NPC随脉冲数的线性变化。

f，脉冲宽度对光电流阶梯高度的可调节影响，光电流随脉冲宽度线性增加，而光电流达到3 μA所需的脉冲数与脉冲宽度成反比。

图3 基于2D视网膜硬件的运动检测示意图

a，将一定帧差时间的m × n运动图像像素乘以视网膜硬件的m × n正负电导矩阵，求和得到处理后的像素输出，实现运动物体检测。

b，原始图像和归一化像素亮度分布，总像素数为462570。

c、有无运动物体检测后的像素亮度分布。当没有移动物体时，大多数像素亮度在零附近。有运动物体时，运动物体的像素亮度分布在各处，静态背景的像素亮度仍然设置在0左右。

图4 三色小车MDR的2D视网膜硬件实现

a，三色手推车(红、绿、蓝)在不同帧差时间Δt(33.3、66.7、133.3 ms)下的运动检测。结果表明，由于WSe₂的宽光吸收，所提出的运动检测适用于可扩展的波长。当Δt增加时，动作重影消失，直到完全分离发生。

b，红色(R)、绿色(G)、蓝色(b)手推车运动分离随Δt变化，均达到100%分离。

c，电车数据库及CNN识别过程示意图。在噪声水平为10% ~ 90%的情况下，根据检测到的运动手推车结果构建数据库。所提出的CNN过程包括图像输入层、卷积层、用于特征提取和扁平化的集合层，以及用于识别的全连接层。

d，在不同噪声水平下，手推车识别精度在90%以上的历时数统计分布。插图显示了从10%到90%的噪声水平，识别精度是训练历时数的函数。在10%的噪声下，只需要4个历时就能达到90%的准确率，而所需的历时数随着噪声水平的上升而趋于增加。

e，软件训练和2D视网膜器件映射后的权重分布，其中一致的权重映射可以成功识别检测到的移动手推车。

【小结】

综上所述，团队充分利用了2D材料中的全在一潜力，为直接实现紧凑高效的MDR硬件提供了2D视网膜器件。该全在一视网膜器件具有可控的PPC和NPC光电特性，类似于视网膜功能，分别对应于开/关状态。通过对开关状态的重组，可以实现无冗余、海量信息交互的运动检测和边缘检测。多态光电导率的优先线性有助于将所提出的视网膜器件映射到CNN，并能够快速和成功地识别。一步式视网膜MDR器件具有全在一的感知、记忆和计算能力，可扩展为智能物联网和人眼仿生设计应用提供多种可能性。

文献链接：All-in-one two-dimensional retinomorphic hardware device for motion detection and recognition（Nat. Nanotech.，2021，DOI：10.1038/s41565-021-01003-1）

本文由木文韬翻译，材料牛整理编辑。

欢迎大家到材料人宣传科技成果并对文献进行深入解读，投稿邮箱tougao@cailiaoren.com。