来源：本文由半导体行业观察翻译自anandtech，谢谢。

去年，华为推出了业界首款集成NPU的移动芯片Kirin 970。作为新一代的旗舰，这个SoC上面的CPU集成了8个核心，其中 4 个为高性能的 ARM 公版 A73 架构，最高主频 2.4GHz（麒麟 960 是 2.36GHz），4 个为低功耗的 ARM 公版 A53 架构，最高主频 1.8GHz（麒麟 960 是 1.84GHz）；GPU则是集成了ARM最新的Mali-G72 架构。

另外，除了传统移动手机SoC必备的通信基带、ISP、DSP、Codec和协处理器外，Kirin 970还首次集成了专门为深度学习而定制的NPU，FP16 性能达到了 1.92 TFLOP。具体来看， NPU 是 CPU 的 25 倍，GPU 的 6.25 倍（25/4），能效比上，NPU 更是达到了 CPU 的 50 倍，GPU 的 6.25 倍（50/8）。这是华为面向现在火热的人工智能市场扔出的一个杀手锏。

以上都是华为的一家之言，下面我们就来探讨一下华为这颗芯片NPU的真正实力。首先，我们先来了解一下NPU的概念。

准确来说，当我们谈到人工智能在计算领域的用途的时候，更多强调的是机器学习。

而当我们讨论人工智能在硬件层面的深入研究的时候，谈论的则更多是针对专门的硬件模块所进行的卷积神经网络的优化和执行工作。

在解释卷积神经网络如何工作的时候，我们从上世纪八十年代开始的工作已经远远超出了研究工作，其根本目的是试图模拟人脑神经元的行为。

注意，这里的一个关键词是“模拟”，虽然到目前为止并没有任何神经网络能够从硬件层面模仿人脑的结构。

不过在学术领域，尤其是在神经网络领域已经存在了很多理论。在过去的十年中，已经开发出了一套软件能够在GPU的硬件层面模拟整个过程。

比如说，研究人员通过不断的迭代和发展美国有线电视新闻网的模型，极大的提升了新闻的准确性和效率。

当然，GPU并不是最适合运行人工智能的硬件，也不是唯一一个能够进行高度的并行运算的处理器。

随着人工智能的不断发展，越来越多的公司希望在实际应用当中将人工智能实现商业化，这就要求硬件能够提供更高的性能，更高的效率。

因此，我们也看到了更加专业的处理器的出现，其架构就是针对机器学习等应用。

谷歌是第一家宣布推出此类硬件的公司，该公司在2016年推出了TPU。但是，虽然这类专业的硬件能够在处理人工智能等工作方面在硬件和功率方面获得更高的效率，但是也失去了灵活性。

谷歌TPU芯片和主板

在这类专门的人工智能处理器当中，影响其工作效率的主要有两个方面：要存在一个经过训练的模型，其中主要包括模型在今后的运行中可能涉及到的相关的数据。一般情况下，模型的训练是大密度的，需要经过大批量的训练才能实现更高的精度。也就是说，在实际运行中，有效的神经网络要比实际用到的神经网络要庞大的多。

因此，普遍存在这样一个思路，就是模型的主体训练工作由更加庞大的GPU服务器或者是TPU云服务器来完成。

其次，神经网络的运行需要一个执行模型，通过不断注入新的数据，完成模型的演算来实现整个过程。一般情况下，我们将输入数据，然后通过神经网络模型得到输出结果的模式称之为推理。

不过实际的推理过程与模型当中的训练过程对于计算的要求也存在着很大的不同。

虽然推理和训练都需要用到高密度的并行计算，但是推理能够以较低精度的计算来完成，同时执行模型部分所需要的计算性能也较低，这也就意味着推理过程能够在更加便宜的硬件上来进行。

这一功能反过来引导整个行业走向更加注重边缘设备（用户设备）的方向，因为这些设备能够提供更高的性能效率和需求更低的功耗。

也就是说，如果本地设备当中存在一个已经经过训练的模型，就可以使用该设备来进行推理过程，而不需要将数据上传到云端服务器当中来进行数据的处理。

这一过程将会减轻可能存在的延迟，功耗和带宽等问题，同时也避免了隐私问题，因为输出端数据永远不会离开用户设备。

随着神经网络推理功能在终端设备上运行的不断实现，对于不同处理器能够实现何种功能的研究以及选择工作也在不断深入。