网站首页 > 宏观经济> 文章内容

滴滴云IFX斩获斯坦福DAWNBench深度学习推理榜单双料冠军

※发布时间:2021-3-16 14:49:02   ※发布作者:habao   ※出自何处: 


近日,斯坦福大学发布了 DAWNBench 最新成绩,在基于 ImageNet 图像数据集上完成 top5 93% 以上计算精度的任务里,滴滴云研发的 AI 智能加速引擎 IFX获得了 Inference Latency 以及 Inference Cost 双料世界第一的成绩。

其中,IFX 所输出的神经网络推理性能以1.5439ms的成绩领先当前第2名 21%;10000张图片分类任务在滴滴云GPU实例(https://www.didiyun.com/production/gpu.html)上的平均成本仅为0.00美金,领先第2名0.01美金。这是当前所有竞榜的参与者中,在 P4 GPU 上面获取到的最佳成绩。DAWNBench ImageNet Inference Latency ,DAWNBench ImageNet Inference Cost .近年来,神经网络的需求越来越多,对性能,成本,服务能力的要求也越来越高,滴滴在此背景下,推出了 AI 智能加速引擎 IFX,专门为客户提供端到端的 AI 解决方案。 

IFX 可提供低延时,高吞吐的神经网络实现方案,支持 tensorflow,pytorch,caffe,darknet 等神经网络模型一键部署到 NVIDIA GPU,ARM 等异构设备。目前该引擎已经广泛应用于滴滴内部人脸检测、OCR、语音识别、ETA 等各项业务。 

IFX 在滴滴内部已经得到了很好的落地,作为基础推理引擎,为滴滴云简枢、EIS、DDIVA 等多个产品提供了坚实的性能保证。 简枢机器学习平台

(https://www.didiyun.com/solution/gpu-management.html):以主流深度学习框架为基础,与 k8s 和Docker 容器技术相结合,提供实验环境、离线任务和在线服务三大功能,支持业务从模型研究、批量训练到在线预测的全流程打通,可以使用户更加专注深度学习应用本身。

[EIS](https://www.didiyun.com/production/eis.html): 可将用户自定义深度学习模型一键发布为推理服务,并为推理服务提供托管环境,简单易用,支持 TensorFlow,pytorch 等多种深度学习框架训练出的模型。

DDIVA: 面向海量智能视频分析场景推出的一套完善的,高性能的视频分析框架,集成基于NVIDIA GPU硬件和CPU软件的视频编解码方案,最大限度增加视频编解码的吞吐。 

IFX 适用的场景非常的丰富,我们不限制其只能运行在滴滴的平台,更希望将此能力能够赋能给外部客户,产生更大的用户价值:

公有云部署:适用于部署在滴滴云等公有云上的AI服务,为用户公有云服务提供AI智能加速解决方案。

私有云部署:适用于部署在企业私有云环境的AI应用,提高AI服务效率、降低AI服务成本。

IOT:IFX可应用于智能制造、智能家居、智能汽车、智能机器人、智能交通等各种IOT场景中,提高计算效率、降低应用时延。

边缘计算:业务对于边缘计算的实时性要求更高,即更强的处理能力和更快的响应速度。IFX能够帮助边缘设备更快处理业务请求。 

据悉,此次提交的成绩其实并非IFX在 P4 GPU 上表现的最佳成绩,但是我们预计,即使要超越这个成绩,各个竞榜对手很可能不得不采用 nvidia 下一代 GPU T4 或者其他更快硬件。

那么,为什么滴滴云IFX能够对AI推理性能做到如此极致的优化?滴滴云IFX 团队后续将一一揭秘,敬请关注滴滴云公众号。

输入AI大师码【1122】,滴滴云GPU全线产品享9折优惠。

关键词:
相关阅读
  • 没有资料