英偉達深度學習推理引擎TensorRT，現(xiàn)在開源了
2019-06-19 09:03:25 機器之心項目鏈接：https://github.com/NVIDIA/TensorRT
本次開源的內(nèi)容是英偉達 TensorRT 的一部分，其中包括 TensorRT 的插件與一些解析器（Caffe 和 ONNX），以及演示 TensorRT 平臺的使用和功能的示例應用程序。相信未來更多的內(nèi)容也會持續(xù)開源。
TensorRT 是一個高性能深度學習推理平臺，能夠為在英偉達 GPU 上運行的語音、視頻等 APP 提供更低地延遲、更高的吞吐量。TensorRT 包含輸入模型的解析器、支持全新 ops 的插件以及在利用優(yōu)化進行推理之前的層。
今日，英偉達宣布開源 TensorRT 中的解析器和插件部分，以便于深度學習社區(qū)能夠做自定義、擴展組件，從而更好的利用 TensorRT 進行 app 優(yōu)化。
TensorRT 的 GitHub 項目目前已經(jīng)開放了，其包括貢獻指南，它會告訴我們?nèi)绾螀⑴c這一優(yōu)秀工具的完善。英偉達表示他們將在新版本發(fā)布時，合并且發(fā)布最新的代碼。
例如你可以貢獻：
針對 ONNX 格式和 Caffe 擴展解析器，用全新 ops 把模型輸入到 TensorRT插件程序讓你能夠在 TensorRT 中運行自定義 ops。使用開源的插件作為參考，或者建立全新的插件從而支持新的層（layers）示例只是提供了一個起點，用戶也可以貢獻全新工作流和管道的示例。英偉達的目標在于為社區(qū)提供更多的特性，并同時更方便地利于開發(fā)者對社區(qū)做出貢獻。英偉達開發(fā)者博客介紹了如何開始使用 TensorRT，讀者們也能從 TensorRT 的產(chǎn)品頁面或這次新構(gòu)建的 GitHub 項目獲取它。
官方教程：如何使用 TensorRT 加速深度學習推斷
地址：https://devblogs.nvidia.com/speed-up-inference-tensorrt/
最后，GitHub 項目中對于如何安裝 TensorRT 開源軟件及構(gòu)建環(huán)境都有非常詳細的描述，感興趣的讀者快來試試吧。
免責聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個人觀點，轉(zhuǎn)載目的在于傳遞更多信息，并不代表EETOP贊同其觀點和對其真實性負責。如涉及作品內(nèi)容、版權和其它問題，請及時聯(lián)系我們，我們將在第一時間刪除！
EETOP 官方微信
創(chuàng)芯大講堂 在線教育
半導體創(chuàng)芯網(wǎng) 快訊
相關文章
