Facebook如何应对人工智能在智能手机上的混乱局面

移动设备上的人工智能有点混乱，这对Facebook来说是一个令人头痛的问题，Facebook的广告收入中有90%来自使用移动服务的用户。

这些是Facebook最近发表的一篇研究论文的一些内容，他们详细介绍了他们如何不得不想出各种各样的技巧来解决移动设备的硬件缺陷。

其中包括调整应用程序中有多少“线程”来实现多种不同芯片设计和功能的共同点。这意味着他们通常无法“优化”给定设备的代码。

他们写道，尽管Facebook拥有巨大的资源，但整个行业都需要做很多事情。

此外： Android手机上的人工智能仍在进行中

该论文“Facebook机器学习：理解边缘推理” 发表在Facebook研究网站的出版物页面上，由Carole-Jean Wu和25位同事撰写。它已提交给明年2月在华盛顿特区举行的IEEE高性能计算机体系结构国际研讨会

作者概述了双管齐下的问题：越来越多的人需要在手机上执行AI。但设备中芯片和软件的格局是“狂野的西部”，不同部分的混乱，不同的软件API，以及通常较差的性能。

在“边缘”设备上需要应用程序，包括智能手机，还有Oculus Rift耳机和其他设备，以执行“推理”，这是计算机使用其训练有素的神经网络来回答问题的机器学习的一部分。

此外：Facebook伪造了人工智能模糊，使VR变得更加真实

作者引用了一些事情，例如对将要上传到Instagram的图像进行实时推断，作为需要本地处理的任务，以避免进入云进行推理的延迟。

但考虑到野外的大量智能手机，Facebook正面临着严峻的硬件。

他们指出，该公司的“神经网络引擎部署在超过10亿个移动设备上”，包括“超过两千个独特的SOC [片上系统，半导体不仅包括微处理器，还包括其他计算模块]。” 这是一万种不同型号的手机和平板电脑。

平均而言，这些手机中的CPU并不是那么出色：“几乎所有的移动推理都在CPU上运行，大多数已部署的移动CPU内核都是旧的和低端的。” 具体来说，今年，他们看到的所有智能手机中只有四分之一是运行2013年或之后设计的CPU。

此外：芯片创业公司Efinix希望在物联网中引导AI的努力

而且这不仅仅是因为那里有很多旧手机：“这些智能手机的主要部分在最近的一到两年内销售。”

此外，“没有标准的移动SoC进行优化，”他们感叹道，最常见的芯片市场份额不到4%。“数据很清楚：没有'典型的'智能手机或移动SOC。” 芯片有一个“特别长的尾巴”。

拥有一个机载“加速器”，如GPU，有帮助，但没有那么多强大的那些。

“不到20%的移动SoC拥有比CPU强3倍的GPU。” 他们写道，手机上的大多数人工智能功能“甚至都没有使用GPU”。

此外：AI启动Flex Logix的表现远远高于Nvidia

DSP或数字信号处理器具有相同的缺点，它们相关，并且所有这些加速器几乎无法访问高带宽内存。对机器学习核心的关键矢量结构的支持很少，大多数人都需要数年才能获得这种能力。

混乱的另一部分是软件：很难为AI编写这些芯片。有一个广泛的API在移动设备上有用，“OpenCL”，但“不是Android系统的正式部分”，并且与其他API没有达到相同的标准。其他API，包括“OpenGL ES”，一种适用于图形的桌面API和“Vulkan”，很有前景，但只是部署得很薄。

另外：AI Startup Cornami揭示了神经网络芯片的细节

他们写道，苹果公司脱颖而出：它的iOS“金属”API运行在一致的芯片平台上，平均而言，这些芯片中的GPU性能更高，“使具有GPU的iOS设备上的Metal成为高效神经网络的有吸引力的目标推理。” 然而，即便如此，对六代Apple“A”系列芯片的推断速度进行“严格”检查的结果表明，在每一代芯片中仍然存在“广泛的性能变化”。