pyspark导入,解决pyspark无法直接使用问题(linux版)
pyspark的导入
之前我试过很多种方法,但是直接install pyspark总是没办法运行,所以这里我换了一种方法,直接导入pyspark
打开pycharm的项目,找到setting中的project structure
选择添加
在你下载的spark文件夹中,找到python文件夹,python文件夹的lib下有两个压缩包,放进去
应用即可,到这里,就已经成功很多了,但是我们还没结束,linux自带的python版本,和我们安装的python版本不统一,在worker和driver执行的时候就会报错
Exception: Python in worker has different version 2.7 than that in driver
类似这样的报错信息,
解决方法是,在spark文件夹的conf的spark-env文件中设置一下pyspark所使用的python版本
共有 0 条评论