Spark安装

重要声明:马克-to-win @ 马克java社区: 既然我们的名字叫最最最入门,这个讲义的特点就在于成本最低的,让你最快速的,最容易的入门。大数据的最大的难点在于入门入不了,从而最终放弃。俗话说师傅领进门,修行在个人。只要入了门了,后面的事都好办。当然,既然侧重点在于如何入门,内容选的就不是很多。那些已经入门的,或者想学到精通级别的同学,请千万不要选我这套讲义,选课前,务必注意本章的学习目标和内容。想学更多,注意后边的课程。

Windows32或64位下载安装配置Spark

1)下载地址:http://spark.apache.org/downloads.html
马克- to-win:马克 java社区:防盗版实名手机尾号: 73203。
马克-to-win @ 马克java社区:选择需要下载的Spark版本(购买完整教程)
2)配置:
马克-to-win @ 马克java社区:解压(购买完整教程)

3)启动测试:

a)启动Hadoop

b)在cmd窗口运行spark-shell,出现下图代表OK。




c)因为我的hadoop 的根目录下有一个README.txt文件,


所以测试一下word count,在命令行输入sc.textFile("hdfs://localhost:9000/README.txt").count()查看执行结果,出现如下图代表计算word count成功。




4)访问http://192.168.1.104:4040/jobs/