當前位置:係統粉 >   IT資訊 >   微軟資訊 >  微軟發布深度學習平台Brainwave,基於FPGA速度超快

微軟發布深度學習平台Brainwave,基於FPGA速度超快

時間:2017-08-23 來源:互聯網 瀏覽量:

安妮 編譯整理

量子位 出品 | 公眾號 QbitAI

在昨天Hot Chips 2017大會上,微軟發布了基於FPGA的低延遲深度學習加速平台。據微軟官方博客顯示,當使用英特爾Stratix 10 FPGA時,Brainwave可在無批處理的情況下支持每秒39.5萬億次浮點運算。

微軟發布深度學習平台Brainwave,基於FPGA速度超快(1)

產品概念

這已經不是微軟第一次提出Brainwave的概念,過去幾年中微軟一直嚐試用FPGA提升必應(Bing)與Azure的性能與效率。微軟希望賦予開發人員FPGA處理能力,幫助他們運行複雜的任務。因此,這套深度學習加速平台應運而生。

微軟在官方博客上公布了Brainwave的三個層麵:

高性能分布式係統架構

集成至FPGA上的深度神經網絡(DNN)引擎

可低摩擦部署訓練模型的編譯器和runtime

微軟發布深度學習平台Brainwave,基於FPGA速度超快(2)

△ Brainwave用英特爾FPGA進行演示

性能詳解

第一層麵

Brainwave利用了大量微軟在過去幾年裏部署的FPGA架構。通過將高性能FPGA鏈接到數據中心網絡,微軟讓DNN支持硬件微服務。其中DNN可被映射到一個遠程的FPGA池,由一個loop中沒有軟件的服務器調用。

這種係統架構既降低了延遲,並且CPU無需處理傳入的請求,允許非常高的吞吐量,所以FPGA處理請求的速度和網絡傳輸速度一樣快。

第二層麵

Brainwave使用了集成至商用FPGA上的強大的“軟”DNN處理單元(DPU)。

不論科技巨頭還是初創公司,很多公司正在構建“硬化”的DPU。盡管其中有些芯片峰值性能很強,但必須在設計時就選好操作符和數據類型,這限製了它們的靈活性。

微軟的解決辦法不同,它提供了跨係列的數據類型,可在合成時間內決策。該設計將ASIC數字信號處理模塊、FPGA和合成邏輯三者結合,提供了更龐大、數量上更優化的功能單元。

微軟發布深度學習平台Brainwave,基於FPGA速度超快(3)

第三層麵

此外,Brainwave內置一個支持各種流行的深度學習框架的軟件棧,目前Microsoft Cognitive Toolkit(CNTK)、Tensorflow均已兼容,微軟計劃支持更多框架。

在這裏,微軟定義了一種基於圖的中間表示,先將模型轉換為受歡迎的框架,然後再編譯到高性能的基礎架構中。

微軟發布深度學習平台Brainwave,基於FPGA速度超快(4)

後續發展

微軟在官方博客中表示,他們將盡快通過Azure向外部開發者提供FPGA,讓用戶通過微軟的服務間接訪問。

據外媒ZDNet報道,微軟並不是唯一一家在雲數據中心朝FPGA發展的公司,亞馬遜和穀歌都在使用定製芯片處理AI任務。

最後,量子位還有一份Brainwave官方版52頁PPT及介紹文檔,可在量子位微信公眾號會話界麵回複“170823”領取。

— 完 —

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界麵,回複“招聘”兩個字。

量子位 QbitAI

վ'ᴗ' ի 追蹤AI技術和產品新動態

我要分享:

最新熱門遊戲

版權信息

Copyright @ 2011 係統粉 版權聲明 最新發布內容 網站導航