婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Nvidia TensorRT深度學習推理平臺在會話AI領域取得新突破

Nvidia TensorRT深度學習推理平臺在會話AI領域取得新突破

熱門標簽:電話機器人電銷模式 承德店鋪地圖標注要多少錢 地圖標注怎么添加文本 400電話辦理操作流程 地圖標注路線用什么軟件 圖吧地圖標注怎么刪除店 怎么在地圖標注公司 400電話申請信通 淘寶地圖標注地方
  Nvidia發布了用于高性能深度學習推理的新版本TensorRT軟件平臺,以強化自己的人工智能戰略。
  TensorRT是一個將高性能深度學習推理優化器與運行時相結合的平臺,可為AI應用提供低延遲、高吞吐量的推理。
  推理是AI的一個重要方面,AI訓練涉及算法理解數據集的能力演化,而推理是指AI能夠對這些數據進行操作以推斷特定查詢的答案。
  新版本的TensorRT在性能方面有了顯著改善,包括大幅縮短了在最先進AI語言模型之一——Bidirectional Encoder Representations from Transformers -Large(BERT-Large)——上的推理時間。眾所周知,BERT-Large是一種自然語言處理訓練方法,涉及在大型文本語料庫(如維基百科)上訓練通用語言理解模型,然后把該模型作為下游NLP任務的基礎,例如回答人們的問題。
  Nvidia表示,TensorRT6新增的優化功能可以將B44與T4GPU的算法推理時間縮短至5.8毫秒,低于之前的10毫秒性能閾值。
  Nvidia表示,這次改進的性能足夠高,使得BERT可以被企業首次部署到生產環境中。傳統觀點認為,應該在不到10毫秒的時間內執行NLP模型,才能提供自然的、引人入勝的體驗。
  Nvidia表示,還對該平臺進行了優化,加速了對于語音識別、醫療應用3D圖像分割、工業自動化中基于圖像的應用相關任務的推斷。
  Nvidia表示,TensorRT6還增加了對動態輸入批大小的支持,這有助于加速AI應用,例如計算需求波動的在線服務等。TensorRT Open Source Repository也有升級,新增的訓練樣本有助于加快基于語言和圖像的應用的推斷。
  Constellation Research分析師Holger Mueller表示,這次改進很及時,因為會話AI平臺的競爭正在全面展開。
  “但是Nvidia仍然需要解決下一代應用的本地部署問題,除非它設法將TensorRT平臺變成公有云。在這方面Nvidia有很好的經驗,但需要一定的時間才能實現。”
  Nvidia表示,現在已經可以通過產品頁面下載TensorRT6平臺。

標簽:山西 梅州 臨沂 合肥 常州 黑龍江 張家界 七臺河

巨人網絡通訊聲明:本文標題《Nvidia TensorRT深度學習推理平臺在會話AI領域取得新突破》,本文關鍵詞  Nvidia,TensorRT,深度,學習,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Nvidia TensorRT深度學習推理平臺在會話AI領域取得新突破》相關的同類信息!
  • 本頁收集關于Nvidia TensorRT深度學習推理平臺在會話AI領域取得新突破的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 蒙阴县| 同德县| 长丰县| 修文县| 新余市| 措勤县| 海宁市| 广东省| 东山县| 津市市| 玉屏| 通江县| 会理县| 招远市| 英吉沙县| 改则县| 新营市| 绥芬河市| 龙口市| 桃园县| 江川县| 东安县| 虎林市| 涪陵区| 陆良县| 淳化县| 德保县| 瓮安县| 靖安县| 含山县| 盘山县| 南宫市| 雷山县| 宁城县| 简阳市| 伊通| 尉犁县| 涟水县| 榆树市| 安龙县| 旅游|