當前位置:係統粉 >   IT資訊 >   微軟資訊 >  微軟想在麵包屑大小的芯片上運行神經網絡,發布嵌入式學習庫ELL

微軟想在麵包屑大小的芯片上運行神經網絡,發布嵌入式學習庫ELL

時間:2017-07-01 來源:互聯網 瀏覽量:

李林 編譯自 ZDNet
量子位 報道 | 公眾號 QbitAI

微軟昨天發布了一個嵌入式學習庫(Embedded Learning Library, ELL),包括一個用在樹莓派上等開發板上的預訓練圖像識別模型。

比如說把圖像識別模型放到樹莓派上,連接一個攝像頭,它不用聯網就能認出很多日常物體,然後在樹莓派接入的顯示器上顯示一個標簽:

微軟想在麵包屑大小的芯片上運行神經網絡,發布嵌入式學習庫ELL(1)

微軟一直想縮小機器學習模型,讓它們能在各種設備的低能耗芯片上運行,這樣,我們身邊的攝像頭、家用電器不用聯網,也能智能起來。這也就是微軟CEO納德拉在今年Build開發者大會上所強調的邊緣計算。

ELL正是成果之一。

ELL的早期預覽版已經放到了GitHub上,C++和Python都可用。地址:

https://github.com/Microsoft/ELL

微軟想在麵包屑大小的芯片上運行神經網絡,發布嵌入式學習庫ELL(2)

Ofer Dekel

微軟Redmond研究院的Ofer Dekel領導了這項研究,他帶領著30人的小組,其中包括Redmond和印度班加羅爾的計算機科學家、軟件工程師、研究實習生。

微軟想在麵包屑大小的芯片上運行神經網絡,發布嵌入式學習庫ELL(3)

微軟Redmond研究院參與這項研究的部分成員

微軟想在麵包屑大小的芯片上運行神經網絡,發布嵌入式學習庫ELL(4)

微軟班加羅爾研究院參與這項研究的部分成員

微軟在官方博客中說,在樹莓派上運行神經網絡並不是他們的終極目標,這個團隊最終想把模型壓縮到更小,小到能在麵包屑大小的ARM Cortex-M0上運行,也就是上圖Dekel手中的那個芯片。

他們現在已經把機器學習模型壓縮到了原來的1/10,甚至1/100,不過要在M0上運行,需要壓縮到1/1000-1/10000。

目前,微軟研究員們嚐試過的最小的芯片是Arduino Uno,RAM隻有2 kilobytes。

為了將機器學習模型縮小,Dekel的團隊嚐試了各種方法,其中之一叫做權重量化(weight quantization),不用標準的32比特來表示神經網絡參數,而是用個位數的比特值,甚至1比特。

同時,這個團隊也在嚐試剪枝的方法,或者叫稀疏化。這種方法想通過去除神經網絡的冗餘部分,來壓縮模型大小。

當機器學習模型能在極小的芯片上運行,會給我們的世界帶來很多新型智能設備,比如在邊遠地區自動探測土壤濕度的灌溉設施,比如植入人腦的芯片。

【完】

一則通知

量子位正在組建自動駕駛技術群,麵向研究自動駕駛相關領域的在校學生或一線工程師。李開複、王詠剛、王乃岩、王弢等大牛都在群裏。歡迎大家加量子位微信(qbitbot),備注“自動駕駛”申請加入哈~

我要分享:

最新熱門遊戲

版權信息

Copyright @ 2011 係統粉 版權聲明 最新發布內容 網站導航