介绍
为了免去繁杂的环境配置工作，提供开箱即用的 Spark + Hadoop 快捷部署方案。基于 BitNami 项目的成熟镜像方案，搭建 Spark Docker 集群，并在原有镜像基础上，构建了安装有对应版本 Hadoop 的镜像。详细构建过程请参考：使用 Docker 快速部署 Spark + Hadoop 大数据集群。
- Spark Version：3.1.2
- Hadoop Version：3.2.0
如何运行
拉取镜像：
docker pull s1mplecc/spark-hadoop:3拷贝项目中的 docker-compose.yml 至本地，执行如下命令启动集群：
docker-compose up -d
在容器内运行 Hadoop 启动脚本：
$ ./start-hadoop.sh运行 MapReduce 示例程序
$ hdfs dfs -put share/words.txt /
$ hadoop jar share/bigdata-learning-0.0.1.jar example.mapreduce.WordCount /words.txt /output运行 Spark 示例程序
TODO
Web UI 汇总
| Web UI | 默认网址 | 备注 |
|---|---|---|
| * Spark Application | http://localhost:4040 | 由 SparkContext 启动，显示以本地或 Standalone 模式运行的 Spark 应用 |
| Spark Standalone Master | http://localhost:8080 | 显示集群状态，以及以 Standalone 模式提交的 Spark 应用 |
| * HDFS NameNode | http://localhost:9870 | 可浏览 HDFS 文件系统 |
| * YARN ResourceManager | http://localhost:8088 | 显示提交到 YARN 上的 Spark 应用 |
| YARN NodeManager | http://localhost:8042 | 显示工作节点配置信息和运行时日志 |
| MapReduce Job History | http://localhost:19888 | MapReduce 历史任务 |