pyspark导入,解决pyspark无法直接使用问题(linux版)

pyspark的导入
之前我试过很多种方法,但是直接install pyspark总是没办法运行,所以这里我换了一种方法,直接导入pyspark
打开pycharm的项目,找到setting中的project structure

选择添加

在你下载的spark文件夹中,找到python文件夹,python文件夹的lib下有两个压缩包,放进去
应用即可,到这里,就已经成功很多了,但是我们还没结束,linux自带的python版本,和我们安装的python版本不统一,在worker和driver执行的时候就会报错
Exception: Python in worker has different version 2.7 than that in driver
类似这样的报错信息,
解决方法是,在spark文件夹的conf的spark-env文件中设置一下pyspark所使用的python版本

pyspark导入,解决pyspark无法直接使用问题(linux版)最先出现在Python成神之路

版权声明:
作者:主机优惠
链接:https://www.techfm.club/p/26928.html
来源:TechFM
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>