怎樣獲得在yarn框架上運行jar包的執(zhí)行結果 怎樣獲得在yarn框架上運行jar包的執(zhí)行結果
1、打開Spring Boot應用，通過Maven命令package命令將應用打成jar包。
2、執(zhí)行命令java -jar xx.jar啟動Spring Boot應用，輸入jsp頁面對應的Url映射后，可以看到頁面未找到。
3、用解壓縮軟件將jar包打開，可以看到jar包中并沒有對應的webapps目錄，所以上面報了頁面未找到錯誤。
4、在pom文件的build節(jié)點下添加resource配置，目的是將webapps下的目錄打包到jar文件的META-INFesources目錄下。
5、再次執(zhí)行package打包命令將應用打成war包，這次可以注意到jar包中META-INFesources目錄下包含了webapps下的所有文件。
配置方法
（1） 首先需要確保spark在1.1.0以上的版本。
（2） 在HDFS上建立一個公共lib庫，比如/system/spark-lib/，設置權限為755。把spark-assembly-*.jar上傳到公共lib庫中。
（3） 在spark-env.sh中配置:
view plaincopy to clipboardprint?
<span style="font-size:14px;">spark.yarn.jar hdfs://yarncluster/system/spark_lib/spark-assembly-1.1.0-hadoop2.3.0-cdh5.1.0.jarspark.yarn.preserve.staging.files false</span>
**spark.yarn.jar配置成HDFS上的公共lib庫中的jar包。這個配置項會使提交job時，不是從本地上傳spark-assembly*.jar包，而是從HDFS的一個目錄復制到另一個目錄（不確定HDFS上的復制是怎么操作的），總的來說節(jié)省了一點時間。（網(wǎng)上有的文章里說，這里的配置，會節(jié)省掉上傳jar包的步驟，其實是不對的，只是把從本地上傳的步驟改成了在HDFS上的復制操作。）
**spark.yarn.preserve.staging.files： 這個配置項配置成false，表示在執(zhí)行結束后，不保留staging files，也就是兩個jar包。然后HDFS上的.sparkStaging下的兩個jar包在作業(yè)執(zhí)行完成后就會被刪除。如果配置成true，執(zhí)行完后HDFS上的.sparkStaging下兩個jar包都會保存下來。
然后再運行，發(fā)現(xiàn)HDFS上.sparkStaging目錄下不會再保留jar包。
問題定位
按道理來說，因為spark.yarn.preserve.staging.files默認是false，所以HDFS上的jar包是不會被保留的。但是在spark1.0.2中，卻沒有刪除。我看了下1.0.2的代碼，刪除的機制是存在的：
//yarn/alpha/src/main/scala/org/apache/spark/deploy/yarn/ApplicationMaster.scala
view plaincopy to clipboardprint?
<span style="font-size:14px;"><span style="font-family:Microsoft YaHei;font-size:12px;"> /** * Clean up the staging directory. */ private def cleanupStagingDir() { var stagingDirPath: Path = null try { val preserveFiles = sparkConf.get("spark.yarn.preserve.staging.files", "false").toBoolean if (!preserveFiles) { stagingDirPath = new Path(System.getenv("SPARK_YARN_STAGING_DIR")) if (stagingDirPath == null) { logError("Staging directory is null") return } logInfo("Deleting staging directory " + stagingDirPath) fs.delete(stagingDirPath, true) } } catch { case ioe: IOException => logError("Failed to cleanup staging dir " + stagingDirPath, ioe) } }</span></span>
按照這個邏輯，默認在AM關閉的時候，是會刪除HDFS上的jar包的。不過沒有正常刪除。推測這應該是一個1.0.2里面的bug，而在1.1.0里面已經(jīng)修復。
nodemanager節(jié)點上的jar包緩存
升級到1.1.0版本后，HDFS上的jar包問題就解決了。但是nodemanager節(jié)點上的jar包還是會保留。這個問題的定位很糾結，不過結果卻出乎意料的簡單。不說了，上結果吧。
配置方法
（1） 配置yarn-site.xml:
<span style="font-family:Microsoft YaHei;font-size:12px;"> <property>
<name>yarn.nodemanager.local-dirs</name>
<value>local-dir1, local-dir2,local-dir3</value>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>1800000</value>
</property></span>
**yarn.nodemanager.local-dirs: 這個目錄是nodemanager上的作業(yè)中間數(shù)據(jù)存放路徑。推薦配置多個盤上的多個路徑，從而分散作業(yè)執(zhí)行中的磁盤IO壓力。
**yarn.nodemanager.localizer.cache.target-size-mb：配置nodemanager上的緩存目錄的最大限度。nodemanager上有一個deletion server服務，會定期檢測，如果yarn.nodemanager.local-dirs中配置的目錄大小（如果配置了多個，則計算多個目錄的總大小）是否超過了這里設置的最大限度值。如果超過了，就刪除一些已經(jīng)執(zhí)行完的container的緩存數(shù)據(jù)。
因為spark提交作業(yè)后遺留在nodemanager上的jar包就在yarn.nodemanager.local-dirs下面，所以只要這里配置合適的大小值。那么nodemanager上的deletion server是會自動檢測并保證目錄總大小的。所以只要配置了這個量，我們就不需要再擔心nodemanager上的jar包緩存問題了，交給yarn就好了！很簡單啊有木有，可就這么個問題，居然花了我一個星期的時間去定位。
**yarn.nodemanager.localizer.cache.cleanup.interval-ms: deletion server多長時間做一次檢測，并且清除緩存目錄直到目錄大小低于target-size-mb的配置。
通過上面這三個量的配置，nodemanager會確保本地的緩存數(shù)據(jù)總量在target-size-mb之下，也就是超過了的話，之前的spark的jar包就會被刪除。所以我們就不需要再擔心nodemanager節(jié)點上的spark jar包緩存問題了。不過target-size-mb的默認值是10G，這個值當然可以根據(jù)你的實際情況進行調整。
怎樣獲得在yarn框架上運行jar包的執(zhí)行結果
1、打開Spring Boot應用，通過Maven命令package命令將應用打成jar包。2、執(zhí)行命令java -jar xx.jar啟動Spring Boot應用，輸入jsp頁面對應的Url映射后，可以看到頁面未找到。3、用解壓縮軟件將jar包打開，可以看到jar包中并沒有對應的webapps目錄，所以上面報了頁面未找到錯誤。4、在pom文件的build節(jié)點下添...
如何運行YARN中的DistributedShell程序
在YARN安裝目錄下，執(zhí)行以下命令：bin\/hadoop jar\\ share\/hadoop\/yarn\/hadoop-yarn-applications-distributedshell-2.0.0-cdh4.1.1.jar\\ org.apache.hadoop.yarn.applications.distributedshell.Client\\ –jar share\/hadoop\/yarn\/hadoop-yarn-applications-distributedshell-2.0.0-cdh4.1.1.jar\\ –shell_...
如何編寫YARN應用程序
（ResourceManager收到請求后，會為ApplicationMaster尋找合適的節(jié)點，并在該節(jié)點上啟動它）。客戶端可通過多種方式查詢應用程序的運行狀態(tài)，其中一種是調用RPC函數(shù)ClientRMProtocol#getApplicationReport獲取一個應用程序當前運行狀況報告，該報告內容包括應用程序名稱、所屬用戶、所在隊列、ApplicationMaster所在節(jié)點、...
Flink on YARN的第三種部署模式:Application Mode
Deployer代表向YARN集群發(fā)起部署請求的節(jié)點，一般來講在生產環(huán)境中，也總有這樣一個節(jié)點作為所有作業(yè)的提交入口（即客戶端）。在main()方法開始執(zhí)行直到env.execute()方法之前，客戶端也需要做一些工作，即：只有在這些都完成之后，才會通過env.execute()方法觸發(fā)Flink運行時真正地開始執(zhí)行作業(yè)。試想，如果所...
hadoop編譯Jar包問題
我用eclipse導出的jar,放到集群里后啟動不起來2016-01-2010:00:45,690FATALorg.apache.hadoop.yarn.server.resourcemanager.Resour... 我用的hadoop2.5.2,源碼做修改后怎么編譯成jar包?我用eclipse導出的jar,放到集群里后啟動不起來2016-01-20 10:00:45,690 FATAL org.apache.hadoop.yarn.server.resourcemanager....
如何在spark-shell命令行執(zhí)行spark hql
第一步，將編譯好的包含hive的JAR包上傳到hdfs上配置的默認的spark的sharelib目錄：\/user\/spark\/share\/lib 第二步：在你要運行spark-shell腳本的節(jié)點上的\/opt\/cloudera\/parcels\/CDH-5.3.0-1.cdh5.3.0.p0.30\/lib\/spark\/lib\/目錄下面，下載這個jar到這個目錄：hadoop fs -get hdfs:\/\/n1:8020\/...
hadoop jar 與yarn jar具體的區(qū)別在哪
lz說的是命令的執(zhí)行吧。hadoop jar 按mr1或yarn運行job，決定是否配置yarn。yarn jar 按yarn方式運行job，必須啟動dfs --- 如果配置了yarn，則兩種方式運行效果是一樣的，即yarn執(zhí)行，必須先啟動dfs，無需啟動yarn，因為會自啟動后退出 dfs:start-dfs.sh yarn:start-yarn.sh ...
Flink on YARN(下):常見問題與排查思路
在依賴庫存在多版本JAR包共存時，可通過YARN應用狀態(tài)下的Container日志保存機制，結合${yarn.nodemanager.log-dirs}及WebUI訪問日志，確定類的具體來源。Flink應用的日志完整查看方法包括：通過WebUI查看運行中的JM\/TM日志，或利用YARN的日志保存機制在本地或分布式存儲中獲取應用日志，如HDFS。對于Flink應用...
Flink on Yarn兩種模式啟動參數(shù)及在Yarn上的恢復
第二種模式其實也分為兩個部分，依然是開辟資源和提交任務，但是在Job模式下，這兩步都合成一個命令了。 這里，我們直接執(zhí)行命令 在job結束后就會關閉flink yarn-session的集群 sudo \/usr\/lib\/flink\/bin\/flink run -m yarn-cluster -yn 1 -yjm 1024 -ytm 1024 -ys 1 -p 1 xz-flink-...
react項目運行?
2、React項目（我這里是用create-react-app搭建的項目），要扔上jar包，將路由改為HashRouter（一般使用的是BrowserRouter）。這個改的很快，就幾秒鐘的問題。3、Vue和React中所開發(fā)的都是組件，其頁面也是一個路由組件。在Vue中組件是定義在后綴為.vue的文件中，在React中組件是定義在后綴為.js的文件...
相關評說：
靈丘縣數(shù)學： ______ 可部署性 先說明下,這里探討的是Yarn或者Mesos集群的部署,不涉其上的應用.Yarn除了依賴JDK,對操作系統(tǒng)沒有任何依賴,基本上放上去就能 跑.Mesos因為是C/C++開發(fā)的,安裝部署可能會有庫依賴. 這點我不知道大家是否看的重,...
靈丘縣數(shù)學： ______ Spark On Yarn配置很簡單,不需要單獨部署Spark集群,只需要開發(fā)Spark應用程序,打成jar包,然后使用spark-submit命令提交到Yarn上運行即可.示例:./spark-submit --class com.lxw1234.test.WordCount --master yarn-cluster --executor-memory 4G --num-executors 10 /home/lxw1234/spark-wordcount.jar /logs/2015-07-14/ /tmp/lxw1234/output/你可以搜索一下＂lxw的大數(shù)據(jù)田地＂,里面有很多Spark On Yarn的技術文章.
靈丘縣數(shù)學： ______ 運行環(huán)境需要對應版本的.net framework框架支持,而且只能在Windows系統(tǒng)上,開發(fā)環(huán)境就是在windows下使用visual studio這個軟件,你在安裝VS時候,安裝程序會將對應版本的.net framework框架,如果你這個程序想在別人的電腦上運行,必須要Windows系統(tǒng),然后那臺電腦上要安裝對應版本的.net framework框架
靈丘縣數(shù)學： ______ 找到運行在Yarn上的spark作業(yè)的applicationid,使用命令,yarn application -kill <applicationId>命令即可kill掉.
靈丘縣數(shù)學： ______ 這是一個輕量級的Java神經(jīng)網(wǎng)絡的框架,首先你電腦上必須按照jre . To use Neuroph in your Java appliacation add reference to neuroph-2.6.jar and all jars from lib folder from this distribution, and import required classes. You can create and train ...
靈丘縣數(shù)學： ______ 本文以JBoss Application Server 4.2.1 GA(以下簡稱JBoss)為例,介紹它在Windows平臺上的啟動過程.為了方便敘述,對平臺環(huán)境做以下假定:Java運行時的安裝路徑為C:/Java,JBoss的安裝路徑為C:/JBoss.既然用100% Java編...
靈丘縣數(shù)學： ______ YARN是Hadoop 2引入的知資源調度框架,也就是說,YARN是Hadoop社區(qū)開發(fā)的.Spark的資源調度框架(集群管理器)是可插拔道的模塊,支持自帶的Standalone,也支持YARN和Mesos.支持YARN和Mesos主要是兩點考版慮:(1)兼容企業(yè)現(xiàn)有的集群 (2)為不同的應用場景提權供選擇的余地
靈丘縣數(shù)學： ______ yarn集群 很簡單 你看你的應用在hadoop監(jiān)控里面 還是spark監(jiān)控里面不久完了 8088 還是8080咯 樓上那個大兄弟說的很仔細
靈丘縣數(shù)學： ______ 在Nginx下通過ci框架開發(fā)項目時,發(fā)現(xiàn)ci框架在nginx下是不能運行的,在網(wǎng)絡上搜索了相關資料后可通過修改相關配置實現(xiàn)nginx支持PHP的ci框架.1、修改ci框架的配置文件修改$config['uri_protocol']值改為:$config['uri_protocol'] = 'PATH_...
靈丘縣數(shù)學： ______ <property name=＂hibernateProperties＂> <props> <prop key=＂hibernate.dialect＂> org.hibernate.dialect.SQLServerDialect </prop> <prop key=＂hibernate.show_sql＂>true</prop>//這一行就是關鍵,有了它就會顯示運行時的sql語句 </props> </property>
