红联Linux门户
Linux帮助

解决:win远程连接ubuntu服务器安装jupyter,启动pyspark

发布时间:2017-06-15 09:39:41来源:linux网站作者:哈士奇说喵
ubuntu 16.1.4
win10 x64
X-shell5
 
目的
win主机远程访问ubuntu服务器,并启动服务器端jupyter在本地进行Python和Spark调试
 
步骤
我不做重复性工作,翻阅了很多很多博客,最后的解决方案在这里,多谢@Xmo_jiao基于pyspark和scalaspark的jupyter notebook 安装(http://blog.csdn.net/Xmo_jiao/article/details/72674687?locationNum=3&fps=1)
如果按照步骤走失败的请看这里,这里需要注意的是:
# 原作者启动pyspark的时候
cd /root/spark/bin
./pyspark
#这里是两条语句,第一是切换到自己的spark安装目录下,一般而言,spark下载的时候都是tgz格式的包,解压后无需安装,直接切到目录执行启动spark就可以了,所以路径因人而异
解决:win远程连接ubuntu服务器安装jupyter,启动pyspark
最后启动jupyter的时候,New的还是python而不是pyspark,但是!已经把kernel调起来了,也就是说,已经完全可以进行pyspark开发操作*
解决:win远程连接ubuntu服务器安装jupyter,启动pyspark
 
补充:
对于上述的启动,原作者的方式是要切换到spark安装目录下,然后再启动pyspark,这里可以使用alias的方式,直接别名设定启动,全局有效
$sudo -i    # 切到root账号,不然没写权限
[sudo] password for mrlevo:这里输入root密码
# vi ~/.profile   #这里是编辑.profile文件,使之全局生效
# 编辑内容自己根据情况爱咋启动咋启动,记得编辑完后保存
alias pyspark='cd /home/mrlevo/Downloads/spark-2.1.1-bin-hadoop2.7/bin;pyspark'
# source ~/.profile   #立即生效,漏了这步还是启动失败的
# exit     # 退出root用户
$ pyspark    #直接启动带pyspark的jupyter
........这里一大串,和刚才一样
 
本文永久更新地址:http://www.linuxdiyf.com/linux/31488.html