深度神经网络加速和压缩方面所取得的进展报告
郑板桥在《赠君谋父子》一诗中曾写道，
“删繁就简三秋树；领异标新二月花。

”
这句诗讲的是，在画作最易流于枝蔓的兰竹时，要去掉其繁杂使之趋于简明如“三秋之树”；而针对不同的意境要有发散的引申，从而使每幅作品都如“二月之花”般新颖。

其实在人工智能领域，深度神经网络的设计，便如同绘制枝蔓繁复的兰竹，需在底层对其删繁就简；而将其拓展至不同场景的应用，则如同面向不同意境的引申，需要创新算法的支撑。

1946年，世界上第一台通用计算机“恩尼亚克”诞生，经过七十年余的发展，计算机从最初的庞然大物发展到今天的可作“掌上舞”，在体积逐步缩小的同时算力也有了很大提升。

然而随着深度学习的崛起，在计算设备上可集成算法的能力边界也在不断拓展，我们仍然面临着巨大计算量和资源消耗的压力。

深度神经网络，作为目前人工智能的基石之一，其复杂性及可移植性将直接影响人工智能在生活中的应用。

因此，在学术界诞生了深度网络加速与压缩领域的研究。

今天，来自中国科学院自动化研究所的程健研究员，将向大家介绍过去一年中，深度神经网络加速和压缩方面所取得的进展。

首先我们来了解一下常用卷积神经网络的计算复杂度情况。

从上表可以看出近年来网络层数越来越多，计算复杂度越来越高。

而过高的计算复杂度通常要求我们使用GPU或者高性能的CPU对神经网络进行运算。

实际上在深度学习应用过程中，我们还面临很多诸如移动设备、嵌入式设备这样存在计算、体积、功耗等方面受限的设备，它们也需要应用深度学习技术。

由于这些设备存在的约束，导致现有的高性能深度神经网络无法在上面进行有效的计算和应用。