为了更好的学习和理解spark,也为了记录自己学习过程中遇到的各种问题,方便以后查询,故写了相关博客,也公开了代码和数据,代码基本都可以本地(local)运行。论文部分由于是ppt,故没有放上来。
0.总目录:
SparkLearning博客:http://blog.csdn.net/bob601450868/article/category/5730447
SparkLearning代码和数据:https://github.com/xubo245/SparkLearning
书籍和视频等学习资料推荐: Spark学习资料汇总
1.环境
SparkLearning是在spark上运行的,spark搭建等请见spark官网或其他网站。
SparkLearning运行环境:
jdk1.7
maven 3.3.9
Spark-1.5.2
scala-2.10.4
idea 15.04/eclipse-4.3.2
spark-assembly-1.5.2-hadoop2.6.0.jar(下载地址: http://pan.baidu.com/s/1hrSxiDI)
2.说明:
SparkLearning项目带有数据,下载会比较慢,如果只想下载部分文件夹,可以使用svn。另外也在20160810弄了一个没有数据的project,方便下载:https://github.com/xubo245/SparkLearning_NoData
3.具体博客目录:
(1).Spark基本学习篇:
SparkBaseLearning文档
SparkBaseLearning代码
(2).Spark代码篇:
SparkCodeLearning文档
SparkCodeLearning代码
(3).Spark组件之Mllib学习篇
MLlibLearning文档
MLlibLearning代码
(4).Spark组件之SparkSQL学习篇
SparkSQLLearning文档
SparkSQLLearning代码
(5).Spark组件之SparkR学习篇
SparkRLearning文档
SparkRLearning代码
(6).Spark组件之Spark Streaming学习篇
SparkStreamingLearning文档
SparkStreamingLearning代码
(7). Spark组件之GraphX学习篇
GraphXLearning文档
GraphXLearning代码
(8).Spark-Avro学习篇
SparkAvroLearning文档
SparkAvroLearning代码
(9).Spark生态之Alluxio(Tachyon)学习篇
AlluxioLearning文档
AlluxioLearning代码
(10).Spark生态之spark-csv篇:
SparkCsvLearning文档
SparkCsvLearning代码
(11).Spark疑问篇
(12).MLLearning:
MLlibLearning project: https://github.com/xubo245/MLlibLearning
(13). Spark源码学习
SparkSourceLearning文档
SparkSourceLearning代码
Help
If you have any questions or suggestions, please write it in the issue of this project or send an e-mail to me: [email protected]
Wechat: xu601450868
QQ: 601450868