spark源码阅读1:一切源于spark-submit

在终端上输入这个指令并敲下回车时,spark的旅程就开始了。

在spark-class中:

在org.apache.spark.launcher.Main中:

方法中对调用的类进行了判断,并对传入的参数进行了验证。提交任务的类是org.apache.spark.deploy.SparkSubmit,该类的main方法:

提交任务调用的是submit方法,忽略中间的逻辑,最终调用的是runMain方法:

childMainClass就是指令中参数–class后面的类,因为提交的是scala的代码,所以创建的是JavaMainApplication,并调用了start方法:

最后通过反射的方式,调用了该类的main方法。main方法中创建了SparkContext,随之启动了Driver。

4 Replies to “spark源码阅读1:一切源于spark-submit”

  1. Pingback: cialis sex pill

发表评论