時間:2017-08-30 來源:互聯網 瀏覽量:
微軟在今年Hot Chips上透露該係統相關技術細節
該實時AI係統將用於加速微軟雲計算服務
該係統芯片采用英特爾製造的 Stratix 10 FPGA
8月22日,在矽穀的 Hot Chips 2017 大會上,微軟透露了新實時 AI 係統的相關技術細節,該係統代號為 Project Brainwave。這款新AI係統未來將並入到微軟雲計算服務Microsoft Azure 和 Bing 當中,以加快處理速度。
Project Brainwave 的負責人為微軟高級工程師 Doug Burger,致力於開發雲計算的加速構架。目前官網暫未給出該項目的時間線,不過從披露的細節看,該項目是基於 Doug Burger 六年前開展的 Project Catapult。
2010年,Doug Burger 向當時微軟的CEO史蒂夫·鮑爾默描繪了未來機器學習和Web服務的龐大規模,要提供這些服務,現在的服務器CPU的摩爾定律已入暮年,必須建立一個全新的框架。於是,2011年,微軟展開 Project Catapult,目的就是用FPGA構架代替傳統CPU中的馮氏結構,這讓微軟成為第一家在公共雲基礎設施中部署FPGA的提供商。
2016年,開展了五年的Project Catapult讓微軟的幾乎所有數據中心的服務器都配備了 FPGA 加速板。
今年,Project Brainwave 便是基於此前部署的 FPGA 構架,在今年矽穀的 Hot Chips 大會上,該項目首次亮相,Doug Burger 僅向大家透露了該項目的相關技術細節,主要有三點:
第一,該項目使用FPGA架構。這種被稱之為“現場可編程門陣列(Field Programmabe Gate Array)”的架構比起傳統使用馮·諾依曼結構的CPU、GPU的優點在於無指令,無需共享內存,在處理數據時的延遲更低、吞吐量更大。這次的係統便是以FPGA為基礎,把FPGA直接連接到微軟的數據中心,其 DNN可以映射到FPGA池,然後FPGA來響應外部提出的需求。
第二,該項目使用深度神經網絡DNN處理單元(DPU)。Project Brainwave 的 DPU 可以根據FPGA上的ASIC數字信號進行縮放的。而不是固定運算符和數據類型的,雖然具有高峰值性能,但同時限製了其靈活性。而可縮放的設計,提供了更大量更優化的功能單元,不僅允許高度客製化、窄精度的數據型態,可提高性能又不損失模型的精準性,而且還可以支持新的算法。
第三,Project Brainwave納入了一款支持多個流行深度學習框架的軟件棧(software stack)。目前已經可以支持微軟自家的 Cognitive Toolkit 以及Google 的 Tensorflow,未來還將支持更多深度學習框架。
在微軟的演示中,該係統維持了每毫秒 39.5 萬億次的浮點運算,其運行的 GRU 規模是ResNet-50(2015年大規模視覺識別挑戰賽排名第一的深度網絡)的五倍大小,無需批量處理,並且實現了記錄設置性能。綜合看下來,其性能也是數一數二的,微軟預計未來這個速度還將會得到提升。
該AI係統由 Stratix 10 FPGA 作為核心芯片。這款芯片由英特爾 2015 年以 167 億美元收購的 Altera 製造,Altera 是一家專門製作 FPGA 芯片的公司。此前新城商業報道過 NASA 使用的深度學習係統也是由英特爾收購的企業提供,這次又為行業巨頭微軟提供芯片,可見英特爾的布局還是非常成功的。
微軟的下一步的商業計劃就是將這個實時AI係統並入在 Microsoft Azure 和 Bing 上,以超低延遲處理請求。微軟的客戶就能通過這兩個接口直接訪問該AI係統,進行複雜的數據運算或是創造深度學習軟件。