6月18日至22日，2018 国际超大规模集成电路研讨会（2018 Symposia on VLSI Technology and Circuits，简称 VLSI）在美国檀香山召开。VLSI 国际研讨会始于 1987 年，是全球先进半导体与集成电路领域的顶级会议，与 ISSCC 和 IEDM 并称微电子技术领域的「奥林匹克盛会」。

清华大学 Thinker 团队在此次会议上发表了两款极低功耗 AI 芯片（Thinker-II 和 Thinker-S）的相关论文，分别在「机器学习处理器」分会场（C4）和「机器人与机器学习应用」分会场（C13）进行了报告。此外，Thinker-S 芯片受邀在大会的 DEMO Session 进行了现场演示。论文作者包括：尹首一，欧阳鹏，杨建勋、郑时轩、陆天翼、宋丹丹、李秀冬、刘雷波、魏少军等。

Shouyi Yin, Peng Ouyang, Jianxun Yang, Tianyi Lu, Xiudong Li, Leibo Liu, Shaojun Wei, An ultra-high energy-efficient reconfigurable processor for deep neural networks with binary/ternary weights in 28nm CMOS, Symposia on VLSI Technology and Circuits, Honolulu, USA, 2018. 

Thinker-II 芯片报告现场

Shouyi Yin, Peng Ouyang, Shixuan Zheng, Dandan Song, Xiudong Li, Leibo Liu, Shaojun Wei, A 141 uW, 2.46 pJ/Neuron Binarized Convolutional Neural Network based Self-learning Speech Recognition Processor in 28nm CMOS, Symposia on VLSI Technology and Circuits, Honolulu, USA, 2018.

Thinker-S 芯片报告现场

一、研究背景

近年来，深度学习的突破性发展带动了机器视觉、语音识别以及自然语言处理等领域的进步，引起了学术界和工业界极大的开发热情和研究兴趣。然而，由于深度神经网络巨大的存储开销和计算需求，功耗成为 Deploy AI Everywhere 的主要障碍，人工智能算法在移动设备、可穿戴设备和 IoT 设备中的广泛应用受到了制约。

二、架构创新

为克服上述瓶颈，清华大学 Thinker 团队对神经网络低位宽量化方法、计算架构和电路实现进行了系统研究，提出了支持低位宽网络高能效计算的可重构架构，设计了神经网络通用计算芯片 Thinker-II 和语音识别芯片 Thinker-S。Thinker-II 芯片运行在 200MHz 时，其功耗仅为 10 毫瓦；Thinker-S 芯片的最低功耗达到 141 微瓦，其峰值能效达到 90TOPs/W。这两款芯片有望在电池供电设备和自供能 IoT 设备中广泛应用。

Thinker-Ⅱ芯片中设计了两种二值/三值卷积优化计算方法及硬件架构，大幅降低了算法复杂度、有效去除了冗余计算。此外，针对由稀疏化带来的负载不均衡问题，设计了层次化均衡调度机制，通过软硬件协同的两级任务调度，有效提升了资源利用率。Thinker-II 芯片采用 28nm 工艺，通过架构和电路级重构，支持神经网络通用计算。 

Thinker-II 芯片总体架构

Thinker-S 芯片中设计了一种基于二值卷积神经网络和用户自适应的语音识别框架，同时利用语音信号处理的特点，提出了时域数据复用、近似计算和权值规整化等优化技术，大幅度优化了神经网络推理计算。Thinker-S 芯片采用 28nm 工艺，单次推理计算中每个神经元上消耗的能量最低仅为 2.46 皮焦。

Thinker-S 芯片总体架构

三、成果展示

Thinker-II 演示系统

Thinker-S 在 VLSI 2018 大会现场演示

四、总结

清华大学 Thinker 团队近年来设计了 Thinker 系列人工智能芯片，相关成果相继发表在 VLSI Symposia、ISCA、IEEE JSSC 等顶尖学术会议和期刊上，受到了学术界和工业界的广泛关注。此次的研究成果，专注于满足移动设备、嵌入式设备以及物联网中人工智能计算需求，有望在电池供电以及自供能智能设备中获得广泛应用，向着 Deploy AI everywhere 的目标更进一步。