微軟開源用於Spark的深度學習庫MMLSpark

微軟開源了MMLSpark，用於Apache Spark的的深度學習庫。MMLSpark可以與微軟認知工具包和OpenCV完美整合。

微軟發現，雖然SparkML可以建立可擴展的機器學習平台，絕大多數開發者的精力都耗在了調用底層API上。MMLSpark旨在簡化PySpark中的重複性工作。

以UCI的成人收入普查數據集舉例，使用其他項目預測收入：

如果直接使用SparkML，每一列都需要單獨處理，整理為正確的數據類型；在MMLSpark中隻需要兩行代碼：

model = mmlspark.TrainClassifier(model=LogisticRegression, labelCol=” income”).fit(trainData)

predictions = model.transform(testData)

深度神經網絡（DNN）在圖像識別和語音識別等領域不遜於人類，但是DNN模型的訓練需要專業人員方可進行，與SparkML的整合也十分不易。MMLSpark提供了方便的Python API，可以方便地訓練DNN算法。MMLSpark可以方便地使用現有模型進行分類任務、在分布式GPU節點上進行訓練、以及使用OpenCV建立可擴展的圖像處理管線。

以下3行代碼可以從微軟認知工具集中初始化一個DNN模型，從圖像中抽取特征：

cntkModel = CNTKModel.setInputCol(“images”).setOutputCol(“features”).setModelLocation(resnetModel).setOutputNode(“z.x”)

featurizedImages = cntkModel.transform(imagesWithLabels).select([‘labels’,’features’])

model = TrainClassifier(model=LogisticRegression,labelCol=”labels”).fit(featurizedImages)

MMLSpark已經發布到Docker Hub上，使用下麵的命令即可在單機部署：

docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark

MMLSpark使用MIT協議授權。

End.