让加速计算无处不在 NVIDIA都做了哪些事情

一年一度的英伟达（NVIDIA）GTC China 2019大会如期而至。本次大会上，英伟达（NVIDIA）创始人兼首席执行官黄仁勋带了极具个人色彩的主题演讲。

在长达两个多小时的Keynote中，黄仁勋介绍了NVIDIA在图形加速计算方面的最新情况，从数据中心到边缘、机器人，包括工作站、服务器和终端。比如在深度推荐系统应用方面，百度AIBox推荐系统以及阿里巴巴推荐系统均借助英伟达的AI平台实现计算加速。

其实，NVIDIA的加速计算在云端非常普及，NVIDIA也与众多云服务提供商都有合作，比如AWS、Azure、谷歌云，包括中国的百度、滴滴、阿里的云平台，NVIDIA和各个云供应商都保持了非常紧密的合作。

NVIDIA加速计算产品管理总监Paresh Kharya介绍说，推荐系统是互联网最重要的引擎。因为我们面临越多越多的选择，包括资讯、商品、视频等，有效的推荐系统至关重要。

在Paresh Kharya看来，当前，AI模型不断变化，整个推理过程也在不断变化，只有不断对这些模型进行训练，才可以进行有效推荐。所以训练模型确实需要大量算力，这也是NVIDIA解决方案能够解决的问题。

NVIDIA GPU架构支持高度灵活的可编程软件定义，而且架构是向前兼容。“当你使用了一个编程框架之后，在未来如果使用新的硬件，可以缩短整个开发周期，也就是说整个硬件是可以随着软件不断更新适应的，而且在软件库里就可以进行直接更新。而且我们的平台几乎可以在任何设备上使用，包括数据中心、边缘或者是物联网。”Paresh Kharya说。

除此以外，英伟达GPU增加了为ARM平台提供计算加速。基于对ARM平台的支持，超级计算中心、超大型云运营商和企业能够将英伟达加速计算平台的优势与最新的ARM服务器平台相结合，能够满足高性能计算（HPC）社区对于类型更加多样化的CPU架构日益增长的需求。

Paresh Kharya表示，ARM是一个广泛使用的架构，而是开放平台，各种各样的公司都可以在ARM架构上进行他们想要的创新。多元化的支持使得ARM可以给客户更多选择，无论在数据中心还是在边缘设备上面，这也是NVIDIA为什么选择支持ARM进行加速计算。“我们通过将CUDA平台和ARM架构进行兼容，在整个加速计算领域，无论是AI、高性能计算还是我们进入的所有的领域都可以给到客户更多选择。”

面向会话式AI的TensorRT 7

黄仁勋还发布了英伟达的新一代突破性推理软件——TensorRT 7。它可以帮助全球各地的开发者实现会话式AI应用，大幅减少推理延迟。能够实现与语音代理、聊天机器人和推荐引擎等应用进行实时互动。

Paresh Kharya表示，会话式AI是一个非常复杂的任务，而TensorRT 7可以将复杂的AI模型进行加速计算，真正实现实时会话式AI，并且可以准确处理中间复杂的流程。

NVIDIA负责TensorRT产品市场的Siddarth Sharma解释说，TensorRT 7可以完成整个流程计算，从语音识别到语义理解再到语音输出。“实现会话式AI，你需要在300毫秒内将三个过程完成，而且要非常智能，这中间需要复杂的模型计算，TensorRT 7专门针对其进行了优化设计。”

据了解，TensorRT 7内置新型深度学习编译器。该编译器能够自动优化和加速递归神经网络与基于转换器的神经网络。这些日益复杂的神经网络是AI语音应用所必需的。与在CPU上运行时相比，会话式AI组件速度提高了10倍以上，从而将延迟降低到实时交互所需的300毫秒阈值以下。

对于软件的作用，Paresh Kharya说，通过软件方式使得性能进一步提升，像医疗领域的Clara平台，自动驾驶领域的Drive以及Isaac，硬件和软件的相互结合让计算性能得以大幅度提升。“我们仅仅通过软件就使AI计算性能在两年之间提升了4倍，所以软件对加速计算的性能提升是非常重要的，未来我们会继续在我们各个平台上对软件进行完善以提升性能。”

例如现在AI开发者会用各种各样的AI开发框架，比如TensorFlow。NVIDIA尽可能将更多的软件库整合到TensorFlow当中，这样开发者就可以充分利用这些库基于GPU进行AI开发，而不用关注底层的东西，直接利用库开发他们想要的东西，并且可以在任何的硬件平台上进行使用。

Paresh Kharya表示，整个深度学习模型是高度多元化的，这也是为什么NVIDIA硬件要做成可编程，这样才可以促进加速计算在AI领域的应用。NVIDIA也在提供多样化的堆栈帮助用户创新、训练和优化自己的模型。

NVIDIA企业边缘计算总经理Justin Boitano补充说，在新兴领域比如5G，运营商在边缘计算方面投入了很多资源，NVIDIA根据这种工作负载的变化也推出了EGX平台，帮助运营商基于NVIDIA加速计算平台承载AI、游戏或者VR应用。