这种方法我没有采用:
./sbt/sbt assembly
./sbt/sbt gen-idea
然后再导入
我发现这样可行:
给idea装上scala插件
下载源码,假设使用git同步最新的源码
git clone https://github.com/apache/spark.gitFile->Import Project
选择项目类型为sbt project
选中"Use auto-import",然后点击Finish
然后去可以跑SparkPi.scala
设置VM options 为 -Dspark.master=local
设置Environment variables 为MASTER=LOCAL
然后当然会出现一些编译问题
应该是装上maven,,然后在idea选择view -> tool windows -> maven project ,然后+ ,然后generate and update
然后出现一些modules的问题,File-> project structure里面捣鼓一下
就可以debug整个Spark了
飞机一阵抖动,我终于说出了最后一句再见。