BigData-In-Practice

大数据项目仓库、涉及 Hadoop、Spark、Kafka、Hbase..... 等，更新中...

项目名	说明
ImoocLogAnalysis	使用 Spark SQL imooc 访问日志，数据清洗，统计，可视化

项目名	所属组件	介绍
ch2noaa	MapReduce	MapReduce 实验 - 计算气温最大/最小/平均值
hdfscrud	HDFS	HDFS Java API 增删查改
hdfslogcollect	HDFS	Timer 定时将日志文件备份到 HDFS 中去，copyFromLocalFile
commonfans	MapReduce	MapReduce 计算共同好友
hadoopjoin	MapReduce	MapReduce 两表进行左连接 left join，两表进行 map join
customizePartition	MapReduce	MapReduce 自定义分区，Partitioner 决定每条记录应该送往哪个reducer节点
sparkSqlSample	Spark SQL	Spark SQL 样例，关于HiveContext、SQLContext、SparkSession、RDD、DataFrame、Dataset的使用
curator-example	Zookeeper	基于Apache Curator实现对Zookeeper的操作，以及数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等Zookeeper的应用场景
HbaseExamples	HBase	Hbase Java API的基本操作，包括增删查改、过滤器、协处理器，Phoenix、Phoenix+Mybatis等
kafka-example	Kafka	深入理解Kafka各种操作，生产者、消费者、主题、分区、应用、可靠性、spark

whirlys/BigData-In-Practice