當前位置:係統粉 >   IT資訊 >   微軟資訊 >  Spark在Win10下的環境搭建

Spark在Win10下的環境搭建

時間:2018-06-24 來源:互聯網 瀏覽量:

版本說明

jdk:1.8

scala:2.11.8

spark:2.3.0

hadoop:2.8.3

環境準備

jdk配置

1、配置JAVA_HOME與Path:

Spark在Win10下的環境搭建(1)

Path

Spark在Win10下的環境搭建(2)

2、驗證配置:

Spark在Win10下的環境搭建(3)

scala安裝與配置

1、scala下載:

訪問官方地址http://www.scala-lang.org/download/2.11.8.html

Spark在Win10下的環境搭建(4)

2、配置Path:

Spark在Win10下的環境搭建(5)

3、驗證配置:

Spark在Win10下的環境搭建(6)

Spark安裝與配置

1、spark下載:

訪問官方地址http://spark.apache.org/downloads.html

Spark在Win10下的環境搭建(7)

選中官方推薦的地址即可下載,其他地址也可用(建議采用迅雷等下載工具下載,速度比較會快很多)

Spark在Win10下的環境搭建(8)

2、解壓至D盤;

Spark在Win10下的環境搭建(9)

3、配置Path:

Spark在Win10下的環境搭建(10)

4、通過spark-shell進入Spark的交互式命令行模式:

Spark在Win10下的環境搭建(11)

如上,可以看到對應的spark、scala、java版本,同時也看到了異常信息,該異常信息是由於hadoop導致的,下麵來配置hadoop。

Hadoop安裝與配置

1、hadoop下載

訪問官方http://hadoop.apache.org/releases.html

Spark在Win10下的環境搭建(12)

進入下載頁,如下建議地址(同樣建議用迅雷等下載工具下載,速度更快)

Spark在Win10下的環境搭建(13)

2、解壓至

Spark在Win10下的環境搭建(14)

3、配置HADOOP_HOME&Path:

Spark在Win10下的環境搭建(15)

path:

Spark在Win10下的環境搭建(16)

4、winutils下載:https://github.com/steveloughran/winutils

Spark在Win10下的環境搭建(17)

下載對應版本的bin目錄直接替換本地bin目錄即可。

5、此時繼續spark-shell進入spark命令行交互模式:

Spark在Win10下的環境搭建(18)

此時即不會出現上述的異常提示。

6、訪問控製台中的webui如下:

Spark在Win10下的環境搭建(19)

我要分享:

最新熱門遊戲

版權信息

Copyright @ 2011 係統粉 版權聲明 最新發布內容 網站導航