婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Nvidia TensorRT深度學習推理平臺在會話AI領域取得新突破

Nvidia TensorRT深度學習推理平臺在會話AI領域取得新突破

熱門標簽:電話機器人電銷模式 承德店鋪地圖標注要多少錢 地圖標注怎么添加文本 400電話辦理操作流程 地圖標注路線用什么軟件 圖吧地圖標注怎么刪除店 怎么在地圖標注公司 400電話申請信通 淘寶地圖標注地方
  Nvidia發布了用于高性能深度學習推理的新版本TensorRT軟件平臺,以強化自己的人工智能戰略。
  TensorRT是一個將高性能深度學習推理優化器與運行時相結合的平臺,可為AI應用提供低延遲、高吞吐量的推理。
  推理是AI的一個重要方面,AI訓練涉及算法理解數據集的能力演化,而推理是指AI能夠對這些數據進行操作以推斷特定查詢的答案。
  新版本的TensorRT在性能方面有了顯著改善,包括大幅縮短了在最先進AI語言模型之一——Bidirectional Encoder Representations from Transformers -Large(BERT-Large)——上的推理時間。眾所周知,BERT-Large是一種自然語言處理訓練方法,涉及在大型文本語料庫(如維基百科)上訓練通用語言理解模型,然后把該模型作為下游NLP任務的基礎,例如回答人們的問題。
  Nvidia表示,TensorRT6新增的優化功能可以將B44與T4GPU的算法推理時間縮短至5.8毫秒,低于之前的10毫秒性能閾值。
  Nvidia表示,這次改進的性能足夠高,使得BERT可以被企業首次部署到生產環境中。傳統觀點認為,應該在不到10毫秒的時間內執行NLP模型,才能提供自然的、引人入勝的體驗。
  Nvidia表示,還對該平臺進行了優化,加速了對于語音識別、醫療應用3D圖像分割、工業自動化中基于圖像的應用相關任務的推斷。
  Nvidia表示,TensorRT6還增加了對動態輸入批大小的支持,這有助于加速AI應用,例如計算需求波動的在線服務等。TensorRT Open Source Repository也有升級,新增的訓練樣本有助于加快基于語言和圖像的應用的推斷。
  Constellation Research分析師Holger Mueller表示,這次改進很及時,因為會話AI平臺的競爭正在全面展開。
  “但是Nvidia仍然需要解決下一代應用的本地部署問題,除非它設法將TensorRT平臺變成公有云。在這方面Nvidia有很好的經驗,但需要一定的時間才能實現。”
  Nvidia表示,現在已經可以通過產品頁面下載TensorRT6平臺。

標簽:山西 梅州 臨沂 合肥 常州 黑龍江 張家界 七臺河

巨人網絡通訊聲明:本文標題《Nvidia TensorRT深度學習推理平臺在會話AI領域取得新突破》,本文關鍵詞  Nvidia,TensorRT,深度,學習,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Nvidia TensorRT深度學習推理平臺在會話AI領域取得新突破》相關的同類信息!
  • 本頁收集關于Nvidia TensorRT深度學習推理平臺在會話AI領域取得新突破的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 平江县| 集安市| 柘城县| 临沧市| 澄迈县| 大姚县| 开远市| 宽城| 鄂州市| 昆山市| 兴隆县| 安康市| 宁德市| 和田县| 巴彦淖尔市| 永济市| 射洪县| 萝北县| 赫章县| 望江县| 德安县| 河池市| 鹤山市| 无棣县| 汕头市| 天津市| 石嘴山市| 黎平县| 康平县| 达孜县| 咸宁市| 寿宁县| 通城县| 潞西市| 巴楚县| 松桃| 乐山市| 碌曲县| 时尚| 通榆县| 大同市|