2018年9月13日，NVIDIA推出全新人工智能數(shù)據中心平臺，為語音、視頻、圖像和推薦服務提供業(yè)界最先進的推理加速，從而推動全球AI服務的發(fā)展。
NVIDIA TensorRT? 超大規(guī)模推理平臺采用基于突破性的NVIDIA Turing?架構的NVIDIA? Tesla? T4 GPU，以及一整套完整的新推理軟件。
該平臺可為端到端應用提供最快性能和更低延遲，助力超大規(guī)模數(shù)據中心提供全新服務，例如增強型自然語言交互，以及對搜索查詢的給出直接答案而非模糊匹配的一系列結果。
NVIDIA副總裁兼加速業(yè)務總經理Ian Buck表示：“未來人工智能將觸及每種產品和服務并為之帶來改進，我們的客戶正在朝此方向發(fā)展。NVIDIA TensorRT超大規(guī)模平臺的設計旨在實現(xiàn)這一目標，即比以往設想的更快、更高效?！?/p>
每天，大規(guī)模數(shù)據中心都會處理數(shù)以億計的語音查詢、翻譯、圖像、視頻、推薦和社交媒體交互。所有這些應用的處理過程都需要在位于服務器上不同類型的神經網絡進行。
為優(yōu)化數(shù)據中心以實現(xiàn)最高吞吐量和服務器利用率，NVIDIA TensorRT超大規(guī)模平臺包括實時推理軟件和Tesla T4 GPU，處理查詢的速度比僅采用CPU時快40倍。
NVIDIA預計AI推理行業(yè)有望在未來五年內平穩(wěn)增長至200億美元的市場。
先進的AI推理平臺
NVIDIA TensorRT超大規(guī)模平臺包括一整套硬件和軟件產品，這些產品針對強大、高效的推理進行了優(yōu)化。關鍵要素包括：
· NVIDIA Tesla T4 GPU – 搭載320個Turing Tensor Core和2560個CUDA? Core，這款全新GPU具有突破性的性能，以及靈活的多精度功能，從FP32到FP16再到INT8及INT4。它采用高能效的75瓦小型PCIe封裝，可輕松適用于大多數(shù)服務器。FP16的峰值性能為65 teraflops，INT8為130 teraflops，INT4為260 teraflops。
· NVIDIA TensorRT 5 - 推理優(yōu)化器和運行時引擎，NVIDIA TensorRT 5支持Turing Tensor Core，并對適用于多精度工作負載的神經網絡優(yōu)化集進行了擴展。
· NVIDIA TensorRT推理服務器 - 這一容器化的微服務軟件使應用能夠在數(shù)據中心生產中采用AI模型。其在NVIDIA GPU Cloud容器注冊中免費提供，可實現(xiàn)數(shù)據中心吞吐量和GPU利用率的最大化，支持所有常用AI模型和框架，并集成了Kubernetes和Docker。
全球技術領導者的支持
NVIDIA全新推理平臺獲得了全球領先的消費級及企業(yè)級技術公司的支持。
微軟Bing和AI產品公司副總裁Jordi Ribas表示：“微軟致力于為客戶提供最具創(chuàng)新性的AI服務。在實時推理工作負載中，NVIDIA GPU的使用實現(xiàn)了Bing高級搜索產品的改進，使我們能夠減少圖像的對象檢測延遲。我們期待采用NVIDIA的下一代推理硬件和軟件，讓人們能夠通過更多方式受益于AI產品和服務?！?/p>
Google Cloud產品經理Chris Kleban表示：“AI越來越普及，推理是客戶成功部署AI模型所需的關鍵功能，因此我們非常高興很快Google云平臺將支持NVIDIA基于Turing架構的Tesla T4 GPU ?！?/p>
包括所有主流服務器制造商在內的其他公司也表示了對NVIDIA TensorRT超大規(guī)模平臺的支持，包括：
“思科的UCS產品組合提供策略驅動的GPU加速系統(tǒng)和解決方案，可為AI全生命周期內的每一階段提供有力支持。借助基于NVIDIA Turing架構的NVIDIA Tesla T4 GPU，思科的客戶可訪問最高效的AI推理工作負載加速器，更快地獲得洞察并加速展開工作?！?/p>
——思科數(shù)據中心事業(yè)群產品管理副總裁Kaustubh Das
“Dell EMC致力于助力客戶實現(xiàn)IT轉型，同時受益于人工智能等方面的進步。作為全球領先的服務器系統(tǒng)供應商，Dell EMC不斷改進PowerEdge服務器產品組合，以助力客戶最終實現(xiàn)其目標。我們與NVIDIA密切合作，且一直以來都采用Tesla產品組合中的最新GPU加速器，這對于幫助我們的客戶在AI訓練和推理方面保持領先地位起著至關重要的作用?！?/p>
——Dell EMC服務器和基礎設施系統(tǒng)產品管理和營銷高級副總裁Ravi Pendekanti
“富士通計劃將NVIDIA的Tesla T4 GPU整合至我們全球的富士通服務器PRIMERGY系統(tǒng)陣容中。利用NVIDIA最新的高效GPU加速器，我們將為全球客戶提供針對不斷增長的AI需求而優(yōu)化的服務器?！?/p>
——富士通數(shù)據中心平臺業(yè)務部產品部副總裁Hideaki Maeda
“HPE致力于推進邊緣智能，以加速獲得洞察并改善體驗。借助基于NVIDIA Turing架構的NVIDIA Tesla T4 GPU，我們將持續(xù)進行數(shù)據中心現(xiàn)代化和加速，以實現(xiàn)邊緣推理?！?/p>
——HPE HPC和AI事業(yè)群副總裁兼總經理Bill Mannel
“借助我們的深度學習訓練和推理軟件PowerAI及IBM Power Systems AC922加速服務器，在簡化的AI平臺上協(xié)同優(yōu)化的硬件和軟件使IBM Cognitive Systems能夠將深度學習訓練速度提高4倍。我們一直以來與NVIDIA保持合作伙伴關系并開展創(chuàng)新，共同開發(fā)了IBM Power處理器上業(yè)界唯一的CPU至GPU NVIDIA NVLink連接，我們很高興能夠圍繞全新NVIDIA T4 GPU加速器展開探索，進一步擴展在推理工作負載方面的業(yè)界領先地位?！?/p>
——IBM Power Systems產品管理副總裁Steve Sibley
“我們很高興看到NVIDIA通過NVIDIA TensorRT推理服務器為Kubernetes帶來GPU推理，并期待將其與Kubeflow集成，為用戶提供一種簡單、可遷移且可擴展的方式，以在各種基礎設施中部署AI推理?！?/p>
——Kubeflow聯(lián)合創(chuàng)始人兼產品經理David Aronchick
“開源跨框架推理對于機器學習模型的生產部署至關重要。我們很高興看到NVIDIA TensorRT推理服務器能夠為大規(guī)模服務的GPU和CPU推理提供強大的解決方案，并加快AI應用部署并提高基礎設施利用率?！?/p>
——Oracle云基礎設施產品開發(fā)副總裁Kash Iftikhar
“Supermicro致力于通過創(chuàng)新來應對5G、智能城市和物聯(lián)網設備等技術驅動下快速興起的高吞吐量推理市場，這些技術在持續(xù)產生大量數(shù)據并需要實時決策。我們認為NVIDIA TensorRT與基于Turing架構的T4 GPU加速器的結合是應對這些新的要求苛刻且對延遲敏感的工作負載的理想組合，并計劃在我們的GPU系統(tǒng)產品線中大舉采用?！?/p>
— Supermicro總裁兼首席執(zhí)行官Charles Liang
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產業(yè)前沿產品、技術及市場趨勢的專業(yè)媒體傳播和品牌服務。從安全管理到產業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經驗，提供媒體、活動、展會等整合營銷服務。
粵公網安備 44030402000264號
