機器學習：微軟開源新型深度學習庫MMLSpark

微軟剛剛開源MMLSpark，用於Apache Spark的深度學習庫。MMLSpark可以與微軟認知工具包和OpenCV完美整合。

微軟發現雖然SparkML可以建立可擴展的機器學習平台，絕大多數開發者的精力都耗在了調用底層API上。MMLSpark 旨在簡化PySpark中的重複性工作。

以 UCI 的成人收入普查數據集舉例，使用其他項目預測收入：

如果直接使用 SparkML，每一列都需要單獨處理，整理為正確的數據類型；在 MMLSpark 中隻需要兩行代碼：

深度神經網絡（DNN）在圖像識別和語音識別等領域不遜於人類，但是 DNN 模型的訓練需要專業人員方可進行，與 SparkML 的整合也十分不易。MMLSpark 提供了方便的 Python API，可以方便地訓練 DNN 算法。MMLSpark 可以方便地使用現有模型進行分類任務、在分布式 GPU 節點上進行訓練、以及使用 OpenCV 建立可擴展的圖像處理管線。

以下 3 行代碼可以從微軟認知工具集中初始化一個 DNN 模型，從圖像中抽取特征：

MMLSpark 已經發布到 Docker Hub 上，使用下麵的命令即可在單機部署：

MMLSpark 使用 MIT 協議授權。

查看英文原文：

https://github.com/Azure/mmlspark

https://blogs.technet.microsoft.com/machinelearning/2017/06/07/announcing-microsoft-machine-learning-library-for-apache-spark/

http://www.infoq.com/cn/news/2017/10/Spark-MMLSpark