天津理工大学/南开大学陈旭东课题组Sci. Adv. ：基于局域场调控的视网膜形态感算一体器件

【导读】

机器视觉作为适应人工智能发展的一项革命性产物，在自动驾驶、人机交互、工业4.0等需要对目标实时追踪和识别的时间关键型应用中发挥着至关重要的作用。随着用于图像感知的传感器帧速率和像素密度的持续增大，传感器端产生大量非结构化数据，图像信息处理成为了典型的数据密集型计算任务。

感算一体即通过在传感器阵列中部署神经网络，传感器在感知图像的同时直接实现对图像的各种处理任务，例如降噪、锐化、特征提取等，避免了传感器端产生的大量冗余数据向后端计算和存储单元的传输，从而大幅降低机器视觉系统的时延和功耗。为实现感算一体，近年来开发出各种神经形态器件和结构，例如光电突触器件、1PT1R（One-phototransistor-one-memristor）结构等。尤其是受人类视网膜启发的视网膜形态器件，利用光响应度模拟神经网络权重，成功实现传感器内的“MAC”（multiply-and-accumulation）运算和卷积运算，是实现感算一体的理想器件。然而，受限于光响应度的栅压调控机制，神经网络权重需要存储在单独的存储单元中，并通过外部电路对传感器阵列中的每一个器件的权重信息进行单独控制，这对于边缘及其有限的资源而言是难以承受的。因此，亟需发展具有光响应度非易失性调控能力的新型视网膜形态器件，以推动感算一体硬件和神经形态机器视觉的实用化进程。

【成果掠影】

近日，南开大学陈旭东副教授，与天津理工大学鲁统部教授、北京大学张锦院士（共同通讯作者）等合作，提出了一种离子诱导的局域场调制策略，并基于芯鞘结构的单壁碳纳米管/石墨炔（SWNT/GDY）开发了一种可覆盖400-1800 nm光谱范围的宽谱带视网膜形态视觉传感器。通过控制石墨炔中捕获的Li⁺离子的浓度精确控制其诱导产生的局域电场大小和方向，从而捕捉碳纳米管中产生的光生电子或光生空穴，并进一步基于“photogating”效应实现对器件光响应度在正负区间的线性调控。以此为基础，通过所制备的3 × 3 × 3器件阵列，在传感器内直接构筑起一个包含三个卷积核的卷积神经网络（CNN），在硬件层面演示了图像的处理、分类和编码等任务，并验证了“权重”（光响应度）在神经网络中的原位存储。这项工作为开发面向时间关键型和数据密集型应用的高速低功耗神经形态机器视觉提供了一种可行方案。相关研究成果以“Broadband sensory networks with locally stored responsivities for neuromorphic machine vision”发表在Science Advances上。论文第一完成单位为天津理工大学，天津理工大学硕士生张国新和南开大学博士研究生张志成为论文共同第一作者，合作者还包括中国科学院苏州纳米技术与纳米仿生研究所。相关研究工作得到了国家自然科学基金委项目的资助。

【核心创新点】

提出一种离子诱导的局域场调制策略，实现对光响应度的非易失性调控；

采用打印方式构筑3 × 3 × 3传感器阵列，在传感器内部署可用于图像处理、识别和编码等任务的神经网络；

构建了包含前端感算一体和后端存算一体的完整神经形态视觉系统，用以执行有监督和无监督的学习任务。

【数据概览】

图1受人类视觉系统启发的神经形态视觉系统（A）由视网膜和大脑视觉皮层组成的人类视觉系统示意图；（B）完整的神经形态视觉系统，包括前端感算一体和后端存算一体架构；（C）基于芯鞘结构的传感神经网络示意图；（D）基于3 × 3 × 3传感器阵列卷积核的照片、光学显微镜和扫描电子显微镜图像。

图2具有非易失性电导和响应性的视网膜形态视觉传感器（A）器件的正反扫传输特性曲线；（B）通过施加0.5 V、1 ms的V_G脉冲实现64个离散电导状态；（C）通过交替施加64个正V_G脉冲和64个负V_G脉冲获得的线性、对称和可重复的电导更新曲线；由532 nm光脉冲触发的负（D）和正（E）光响应；GDY层中无（F）和有（G）Li离子嵌入的SWNT/GDY异质结的能带排列和电荷转移；（H）在正和负状态下实现对称和可逆的响应度调制；（i）通过控制GDY中嵌入的Li⁺离子的密度，在±10 mA W⁻¹范围内对响应度进行线性、可逆和可重复的调制。

图3传感网络的线性和相同的电导特性和光响应特性（A）27个器件相对于32个离散电导状态的累积概率分布；（B）器件在32个电导状态下的I-V曲线；（C）27个器件相对于32个离散光响应状态的累积概率分布；（D）具有32种不同响应度的器件的光电流随光强依赖性；（E）对于405，532，633，980，1550和1800 nm的波长，器件的线性和可逆响应度更新。

图4传感器内MAC操作和多频带图像的卷积处理（A）包含两个视网膜形态视觉传感器的传感网络的示意电路图，用于实现传感器内MAC操作；（B）光响应度MAC操作的演示；（C）城市高光谱图像；（D）通过设置3 × 3核的不同响应度分布，演示了紫外、可见和近红外波段的不同卷积处理操作（图像传感、边缘检测和清晰度）。

图5用于分类和自动编码的传感器内卷积神经网络（A）用于彩色图像分类的传感器内分类器的示意图；（B）随机生成的不同颜色和高斯噪声（σ分别为0、0.1、0.2和0.3）的字母N、K、U；（C）对于σ=0.2，训练前（初始）和训练后（最终）分类器的响应性分布；（D）分类器在训练具有不同噪声水平的数据集期间的分类精度；（E）每个投影字母的平均输出信号，在每个训练时期测量，噪声水平为σ=0.2；（F）基于3 × 3 × 3传感网络（感内计算）和3 × 9人工神经网络（存内计算）分别作为编码器和解码器的自动编码器示意图；（G）基于噪声水平为0.2的灰度图像作为演示的自动编码过程；（H）用于图像重构的预训练自动编码器的编译结果图。

【成果启示】

本文提出了一种局域场调控策略，即基于捕获的Li⁺离子诱导的局域电场代替外电路控制的栅极电压来实现光响应度的非易失性调控。基于此，开发了芯鞘结构的SWNT@GDY视网膜形态视觉传感器，构筑了具有本地存储权重的内置神经网络，该网络可以在400-1800 nm的宽光谱范围内实现传感器内卷积处理。与人类视觉系统相似，本文所提出的神经形态机器视觉包括传感器中的前端CNN和存储器中的后端ANN，实现有监督和无监督式学习任务。这项工作是开发具有本地存储权重的传感器内神经网络的一大突破，为开发用于实时目标跟踪和识别的高速低功耗神经形态机器视觉提供了一种可行的策略。

文献链接：Guo-xin Zhang, Zhi-Cheng Zhang et al., Broadband sensory networks with locally stored responsivities for neuromorphic machine vision. Sci. Adv., 9. 37 (2023), eadi5104.

https://www.science.org/doi/10.1126/sciadv.adi5104

【作者简介】

陈旭东，南开大学物理科学学院副教授，博士生导师，入选南开大学“百青计划”。2015年于南开大学获得博士学位（导师：田建国教授），2015-2017年在北京大学化学与分子工程学校从事博士后研究（导师：刘忠范院士），2018-2022年在天津理工大学新能源材料与低碳技术研究院工作，2022年至今在南开大学物理科学学院工作。研究方向为二维材料新型光电子器件，在Science Advances、Nature Communications、Chem、Advanced Materials、Advanced Functional Materials、ACS Nano等高影响力国际期刊发表文章。近年来致力于发展新型神经形态和视网膜形态器件与系统。