window環(huán)境下安裝spark
spark是大數(shù)據(jù)計(jì)算引擎，包含Spark SQL、Spark Streaming、MLlib和GraphX四個(gè)模塊。在window環(huán)境下，可以通過(guò)R、Python調(diào)用spark。本文將介紹如何在window環(huán)境中安裝spark。
首先，安裝java。java是spark運(yùn)行的基礎(chǔ)，下載對(duì)應(yīng)系統(tǒng)的jdk，安裝并配置環(huán)境變量JAVA_HOME和Path。在環(huán)境變量設(shè)置中，新增JAVA_HOME系統(tǒng)變量，值為java安裝路徑，再在Path中增加%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin的值。
然后，安裝scala。scala是spark的編寫語(yǔ)言，根據(jù)系統(tǒng)下載對(duì)應(yīng)版本進(jìn)行安裝，并在Path中增加scala安裝路徑的值。
接著，安裝hadoop。hadoop是spark的數(shù)據(jù)存儲(chǔ)和處理系統(tǒng)，下載并安裝到本地，注意安裝路徑中不要有空格。在環(huán)境變量設(shè)置中，新增HADOOP_HOME系統(tǒng)變量，值為hadoop安裝路徑，并在Path中增加%HADOOP_HOME%\bin的值。
隨后，下載spark。根據(jù)hadoop版本下載對(duì)應(yīng)版本的spark，安裝到本地。在環(huán)境變量設(shè)置中，新增SPARK_HOME系統(tǒng)變量，值為spark安裝路徑，并在Path中增加%SPARK_HOME%\bin的值。
最后，測(cè)試spark安裝是否成功。在命令行窗口輸入spark-shell，如出現(xiàn)相應(yīng)界面則表示spark安裝成功。
至此，window環(huán)境下的spark安裝完成。單機(jī)版spark可用于學(xué)習(xí)spark基礎(chǔ)使用，Python用戶可通過(guò)pyspark模塊使用spark，R用戶則可用SparkR包操作。
齊世19676884494： 怎樣最好的在win7的環(huán)境下學(xué)習(xí)spark 知乎 -
東港區(qū)鏜床： ______ 其實(shí),我想說(shuō),起初學(xué)習(xí)Hadoop的一些經(jīng)驗(yàn)對(duì)現(xiàn)在學(xué)習(xí)和理解spark有了很大的幫助,尤其反反復(fù)復(fù)幾次Hadoop的配置,現(xiàn)在linux基礎(chǔ)指令和spark安裝,比較順手了,出錯(cuò)了也知道哪里遺漏了.肯定第一步是配置spark環(huán)境:包括linux系統(tǒng)的安...
齊世19676884494： 如何向eclipse導(dǎo)入spark包java -
東港區(qū)鏜床： ______ 在eclipse中,依次選擇“file” –>“new” –> “other…” –> “scala wizard” –> “scala project”,創(chuàng)建一個(gè)scala工程,并命名為“sparkscala”.右擊“saprkscala”工程,選擇“properties”,在彈出的框中,按照下圖所示,依次選擇“java...
齊世19676884494： 在linux下怎么安裝spark -
東港區(qū)鏜床： ______ 在windows下安裝軟件大家都覺(jué)得很容易,只要雙擊setup或是install的圖標(biāo),然后跟著向?qū)б徊揭徊降陌刺崾咀鼍涂梢粤?但是在linux下安裝軟件就不像windows下那樣容易了,有時(shí)你找到的是沒(méi)有編譯過(guò)的軟件源碼,那就更加的麻煩了,這里...
齊世19676884494： 怎么用eclipse運(yùn)行spark集群 -
東港區(qū)鏜床： ______ 本文前提是已經(jīng)正確安裝好scala,sbt以及spark了 簡(jiǎn)述將程序掛載到集群上運(yùn)行的步驟: 1、構(gòu)建sbt標(biāo)準(zhǔn)的項(xiàng)目工程結(jié)構(gòu):SBT項(xiàng)目工程結(jié)構(gòu)圖其中:~/build.sbt文件用來(lái)配置項(xiàng)目的基本信息(項(xiàng)目名、組織名、項(xiàng)目版本、使用的scala版本或者...
齊世19676884494： 想研讀下spark的源碼,怎么搭閱讀和調(diào)試的環(huán)境 -
東港區(qū)鏜床： ______ 網(wǎng)上搜一下就有,下面轉(zhuǎn)的董西成的博客 (1)準(zhǔn)備工作 1) 安裝JDK 6或者JDK 7 2) 安裝scala 2.10.x (注意版本) 3) 將下載的Intellij IDEA解壓后,安裝scala插件,流程如下: 依次選擇“Configure”–> “Plugins”–> “Browse ...
齊世19676884494： spark讀parquet文件時(shí)會(huì)解壓?jiǎn)?-
東港區(qū)鏜床： ______ 網(wǎng)上搜一下就有,下面轉(zhuǎn)的董西成的博客 (1)準(zhǔn)備工作1) 安裝JDK 6或者JDK 72) 安裝scala 2.10.x (注意版本)3) 將下載的Intellij IDEA解壓后,安裝scala插件,流程如下:依次選擇“Configure”–> “Plugins”–> “Browse repositories...
齊世19676884494： hadoop怎樣在window上做實(shí)驗(yàn) -
東港區(qū)鏜床： ______ 首先,安裝CygWin(在官網(wǎng)上下的最新版),一定要選上openssh和openssl的包(缺省是不安裝的). CygWin在各個(gè)計(jì)算機(jī)上的安裝目錄可以不同.要把CygWin安裝目錄下的bin目錄、usr/bin目錄、usr/sbin目錄放到系統(tǒng)環(huán)境變量Path中.因...
齊世19676884494： 如何在windows下安裝hadoop
東港區(qū)鏜床： ______ Hadoop三種安裝模式:單機(jī)模式,偽分布式,真正分布式 一 單機(jī)模式standalone 單機(jī)模式是Hadoop的默認(rèn)模式.當(dāng)首次解壓Hadoop的源碼包時(shí),Hadoop無(wú)法了解硬件安裝環(huán)境,便保守地選擇了最小配置.在這種默認(rèn)模式下所有3個(gè)XML文...
齊世19676884494： 如何在Ubuntu下搭建Spark集群 -
東港區(qū)鏜床： ______ 這里是結(jié)合Hadoop2.0使用的 1,download :http://spark.incubator.apache.org/downloads.html選擇prebuilt:中hadoop2的下載,hadoop安裝就不介紹了,spark節(jié)點(diǎn)可以不是hadoop節(jié)點(diǎn),可以是一個(gè)hadoop客戶端. 2,download scala,http://www....
齊世19676884494： 如何在windows下安裝Eclipse Hadoop插件 -
東港區(qū)鏜床： ______ 在windows下安裝Eclipse Hadoop插件主要安裝編譯Eclipse-hadoop插件即可.1、配置環(huán)境變量:把下載好的hadoop-2.5.2解壓到D盤的根目錄下,然后計(jì)算機(jī)==》屬性==》高級(jí)系統(tǒng)設(shè)置==》環(huán)境變量2、 把hadoop-eclipse-plugin-2.6.0.jar放到...
首先，安裝java。java是spark運(yùn)行的基礎(chǔ)，下載對(duì)應(yīng)系統(tǒng)的jdk，安裝并配置環(huán)境變量JAVA_HOME和Path。在環(huán)境變量設(shè)置中，新增JAVA_HOME系統(tǒng)變量，值為java安裝路徑，再在Path中增加%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin的值。
然后，安裝scala。scala是spark的編寫語(yǔ)言，根據(jù)系統(tǒng)下載對(duì)應(yīng)版本進(jìn)行安裝，并在Path中增加scala安裝路徑的值。
接著，安裝hadoop。hadoop是spark的數(shù)據(jù)存儲(chǔ)和處理系統(tǒng)，下載并安裝到本地，注意安裝路徑中不要有空格。在環(huán)境變量設(shè)置中，新增HADOOP_HOME系統(tǒng)變量，值為hadoop安裝路徑，并在Path中增加%HADOOP_HOME%\bin的值。
隨后，下載spark。根據(jù)hadoop版本下載對(duì)應(yīng)版本的spark，安裝到本地。在環(huán)境變量設(shè)置中，新增SPARK_HOME系統(tǒng)變量，值為spark安裝路徑，并在Path中增加%SPARK_HOME%\bin的值。
最后，測(cè)試spark安裝是否成功。在命令行窗口輸入spark-shell，如出現(xiàn)相應(yīng)界面則表示spark安裝成功。
至此，window環(huán)境下的spark安裝完成。單機(jī)版spark可用于學(xué)習(xí)spark基礎(chǔ)使用，Python用戶可通過(guò)pyspark模塊使用spark，R用戶則可用SparkR包操作。
相關(guān)評(píng)說(shuō)：
東港區(qū)鏜床： ______ 其實(shí),我想說(shuō),起初學(xué)習(xí)Hadoop的一些經(jīng)驗(yàn)對(duì)現(xiàn)在學(xué)習(xí)和理解spark有了很大的幫助,尤其反反復(fù)復(fù)幾次Hadoop的配置,現(xiàn)在linux基礎(chǔ)指令和spark安裝,比較順手了,出錯(cuò)了也知道哪里遺漏了.肯定第一步是配置spark環(huán)境:包括linux系統(tǒng)的安...
東港區(qū)鏜床： ______ 在eclipse中,依次選擇“file” –>“new” –> “other…” –> “scala wizard” –> “scala project”,創(chuàng)建一個(gè)scala工程,并命名為“sparkscala”.右擊“saprkscala”工程,選擇“properties”,在彈出的框中,按照下圖所示,依次選擇“java...
東港區(qū)鏜床： ______ 在windows下安裝軟件大家都覺(jué)得很容易,只要雙擊setup或是install的圖標(biāo),然后跟著向?qū)б徊揭徊降陌刺崾咀鼍涂梢粤?但是在linux下安裝軟件就不像windows下那樣容易了,有時(shí)你找到的是沒(méi)有編譯過(guò)的軟件源碼,那就更加的麻煩了,這里...
東港區(qū)鏜床： ______ 本文前提是已經(jīng)正確安裝好scala,sbt以及spark了 簡(jiǎn)述將程序掛載到集群上運(yùn)行的步驟: 1、構(gòu)建sbt標(biāo)準(zhǔn)的項(xiàng)目工程結(jié)構(gòu):SBT項(xiàng)目工程結(jié)構(gòu)圖其中:~/build.sbt文件用來(lái)配置項(xiàng)目的基本信息(項(xiàng)目名、組織名、項(xiàng)目版本、使用的scala版本或者...
東港區(qū)鏜床： ______ 網(wǎng)上搜一下就有,下面轉(zhuǎn)的董西成的博客 (1)準(zhǔn)備工作 1) 安裝JDK 6或者JDK 7 2) 安裝scala 2.10.x (注意版本) 3) 將下載的Intellij IDEA解壓后,安裝scala插件,流程如下: 依次選擇“Configure”–> “Plugins”–> “Browse ...
東港區(qū)鏜床： ______ 網(wǎng)上搜一下就有,下面轉(zhuǎn)的董西成的博客 (1)準(zhǔn)備工作1) 安裝JDK 6或者JDK 72) 安裝scala 2.10.x (注意版本)3) 將下載的Intellij IDEA解壓后,安裝scala插件,流程如下:依次選擇“Configure”–> “Plugins”–> “Browse repositories...
東港區(qū)鏜床： ______ 首先,安裝CygWin(在官網(wǎng)上下的最新版),一定要選上openssh和openssl的包(缺省是不安裝的). CygWin在各個(gè)計(jì)算機(jī)上的安裝目錄可以不同.要把CygWin安裝目錄下的bin目錄、usr/bin目錄、usr/sbin目錄放到系統(tǒng)環(huán)境變量Path中.因...
東港區(qū)鏜床： ______ Hadoop三種安裝模式:單機(jī)模式,偽分布式,真正分布式 一 單機(jī)模式standalone 單機(jī)模式是Hadoop的默認(rèn)模式.當(dāng)首次解壓Hadoop的源碼包時(shí),Hadoop無(wú)法了解硬件安裝環(huán)境,便保守地選擇了最小配置.在這種默認(rèn)模式下所有3個(gè)XML文...
東港區(qū)鏜床： ______ 這里是結(jié)合Hadoop2.0使用的 1,download :http://spark.incubator.apache.org/downloads.html選擇prebuilt:中hadoop2的下載,hadoop安裝就不介紹了,spark節(jié)點(diǎn)可以不是hadoop節(jié)點(diǎn),可以是一個(gè)hadoop客戶端. 2,download scala,http://www....
東港區(qū)鏜床： ______ 在windows下安裝Eclipse Hadoop插件主要安裝編譯Eclipse-hadoop插件即可.1、配置環(huán)境變量:把下載好的hadoop-2.5.2解壓到D盤的根目錄下,然后計(jì)算機(jī)==》屬性==》高級(jí)系統(tǒng)設(shè)置==》環(huán)境變量2、 把hadoop-eclipse-plugin-2.6.0.jar放到...
