時間:2017-08-23 來源:互聯網 瀏覽量:
安妮 編譯整理
量子位 出品 | 公眾號 QbitAI
在昨天Hot Chips 2017大會上,微軟發布了基於FPGA的低延遲深度學習加速平台。據微軟官方博客顯示,當使用英特爾Stratix 10 FPGA時,Brainwave可在無批處理的情況下支持每秒39.5萬億次浮點運算。
產品概念這已經不是微軟第一次提出Brainwave的概念,過去幾年中微軟一直嚐試用FPGA提升必應(Bing)與Azure的性能與效率。微軟希望賦予開發人員FPGA處理能力,幫助他們運行複雜的任務。因此,這套深度學習加速平台應運而生。
微軟在官方博客上公布了Brainwave的三個層麵:
高性能分布式係統架構
集成至FPGA上的深度神經網絡(DNN)引擎
可低摩擦部署訓練模型的編譯器和runtime
△ Brainwave用英特爾FPGA進行演示
性能詳解第一層麵
Brainwave利用了大量微軟在過去幾年裏部署的FPGA架構。通過將高性能FPGA鏈接到數據中心網絡,微軟讓DNN支持硬件微服務。其中DNN可被映射到一個遠程的FPGA池,由一個loop中沒有軟件的服務器調用。
這種係統架構既降低了延遲,並且CPU無需處理傳入的請求,允許非常高的吞吐量,所以FPGA處理請求的速度和網絡傳輸速度一樣快。
第二層麵
Brainwave使用了集成至商用FPGA上的強大的“軟”DNN處理單元(DPU)。
不論科技巨頭還是初創公司,很多公司正在構建“硬化”的DPU。盡管其中有些芯片峰值性能很強,但必須在設計時就選好操作符和數據類型,這限製了它們的靈活性。
微軟的解決辦法不同,它提供了跨係列的數據類型,可在合成時間內決策。該設計將ASIC數字信號處理模塊、FPGA和合成邏輯三者結合,提供了更龐大、數量上更優化的功能單元。
第三層麵
此外,Brainwave內置一個支持各種流行的深度學習框架的軟件棧,目前Microsoft Cognitive Toolkit(CNTK)、Tensorflow均已兼容,微軟計劃支持更多框架。
在這裏,微軟定義了一種基於圖的中間表示,先將模型轉換為受歡迎的框架,然後再編譯到高性能的基礎架構中。
後續發展微軟在官方博客中表示,他們將盡快通過Azure向外部開發者提供FPGA,讓用戶通過微軟的服務間接訪問。
據外媒ZDNet報道,微軟並不是唯一一家在雲數據中心朝FPGA發展的公司,亞馬遜和穀歌都在使用定製芯片處理AI任務。
最後,量子位還有一份Brainwave官方版52頁PPT及介紹文檔,可在量子位微信公眾號會話界麵回複“170823”領取。
— 完 —
誠摯招聘
量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界麵,回複“招聘”兩個字。
量子位 QbitAI
վ'ᴗ' ի 追蹤AI技術和產品新動態