當前位置:係統粉 >   IT資訊 >   微軟資訊 >  微軟計劃用即將推出的“Pendleton”工具解決“數據清洗”問題

微軟計劃用即將推出的“Pendleton”工具解決“數據清洗”問題

時間:2017-09-08 來源:互聯網 瀏覽量:

隨著愈發強調AI技術的重要意義再配合其作為工具供應商的角色定位,微軟公司此次在傳統程序員之外、決定麵向數據科學家開發工具的決策可謂毫不令人意外。

微軟計劃用即將推出的“Pendleton”工具解決“數據清洗”問題(1)

根據微軟研究部門在今年早些時候發布的聲明,數據科學家們目前將80%的工作時間用於數據的信息提取與清理工作——即“數據清洗”。微軟公司希望幫助其解決這一難題。

Pendleton項目由此誕生。

一年之前,我第一次聽說微軟公司正在開發一款代號為Pendleton項目的新型機器學習相關工具。不過在此之後,由於缺少充分的背景信息,我們一直無法對Pendleton作出深入解析。

不過根據最近發布的Pendleton“入門介紹”文檔,我們得知Pendleton項目在微軟心目中的具體定位:

“Pendleton項目提供一套靈活且具備可擴展性的工具集,旨在幫助您探索、發現、理解數據內容並修複其中的問題。其允許用戶以多種形式實現數據消費,並將數據轉換為更適合您實際用例的新形式。”

Pendleton是一款客戶端應用,麵向Windows與OS X/MacOS平台。其運行時利用Python設計,且依賴於多種Python庫。

根據一位知情人士的說明,Pendleton項目是一款麵向數據科學家的工具,專門用於進行數據籌備與清理。該工具能夠實現錯誤列刪除、列格式更改以及丟失數據處理等。另外,其還提供各類分析工具,可幫助數據科學家獲取數據集中包含的具體內容。Pendleton項目可以從SQL Server、Azure Blob以及數據湖當中讀取數據,亦可與本地PC文件內讀取信息。

微軟公司已經在內部對Pendleton項目測試了近一年時間——實際周期可能更長。我還沒有聽說軟件巨頭打算如何發布這款工具,但似乎其確實在醞釀相關計劃。

在我看來,微軟研究部門的PROSE(即項目綜合使用示例)團隊可能負責為Pendleton項目“開發數據清洗的項目綜合技術,並將其納入實際產品”,或者說至少有參與其中。

與此同時,在數據科學與大數據集方麵,微軟公司與Facebook則於今天公布了其共同開發的新型模型格式,其可確保各類深度學習模型在不同框架之間實現往來轉移。

這項新標準被稱為開放神經網絡交換(簡稱ONNX),其允許開發人員在微軟Cognitive Toolkit、Facebook Caffe2以及PyTorch等AI框架之間將模型往來遷移。ONNX代碼的初始版本及相關說明文檔目前已經以開源項目形式公布在GitHub之上。

我要分享:

最新熱門遊戲

版權信息

Copyright @ 2011 係統粉 版權聲明 最新發布內容 網站導航