郭同jet(PKU)

这种方法我没有采用:

./sbt/sbt assembly

./sbt/sbt gen-idea

然后再导入

我发现这样可行:

给idea装上scala插件

下载源码,假设使用git同步最新的源码

git clone https://github.com/apache/spark.gitFile->Import Project

选择项目类型为sbt project

选中"Use auto-import",然后点击Finish

然后去可以跑SparkPi.scala

设置VM options 为 -Dspark.master=local

设置Environment variables 为MASTER=LOCAL

然后当然会出现一些编译问题

应该是装上maven,,然后在idea选择view -> tool windows -> maven project ,然后+ ,然后generate and update

然后出现一些modules的问题,File-> project structure里面捣鼓一下

就可以debug整个Spark了

飞机一阵抖动,我终于说出了最后一句再见。

郭同jet(PKU)

相关文章:

你感兴趣的文章:

标签云: