spark使用yarn运行

1、spark仅仅作为一个客户端 –master yarn 相当于 --deploy-mode client，也就是yarn-client模式时，后边这句–deploy-mode client可写可不写 如果是yarn-cluster模式，则需要写上–deploy-mode cluster
./spark-submit --class org.example.SparkSqlToHive --master yarn /usr/local/src/test/SparkTest-1.0-SNAPSHOT.jar

直接按上方代码启动，会报错：
Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in t

spark使用yarn运行最先出现在Python成神之路。