• Stars
    star
    226
  • Rank 170,627 (Top 4 %)
  • Language
    Python
  • Created over 2 years ago
  • Updated about 1 year ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

🎉🎉🐳 Datawhale大数据处理导论教程 | 大数据技术方向的开篇课程🎉🎉

妙趣横生大数据 Juicy Big Data

本项目《妙趣横生大数据》是Datawhale🐳大数据技术相关内容的导论课程。

当今的时代处处充斥着大数据的影子,大数据技术也为信息技术发展带来了重大的变革,并深刻影响着人们生活的方方面面。而我们旨在带领大家走进大数据时代的浪潮中,理解并能够使用目前主流的大数据处理架构Hadoop解决相应的问题,从小白到实践者。

食用方法

🐳 推荐使用 Big Data Github在线阅读 进行学习。

项目结构:

├─docs---------------------------------------------章节主要内容(理论+实验)  
├─experiments--------------------------------------每个章节配套的补充小实验  
└─resources----------------------------------------相关资源  

以下是目录,还等什么,学就完事了~

大数据处理技术导论目录

第二章以后的章节都配置有实验内容,使用Linux操作系统进行编程实战。

课程收获

通过本教程的学习,你将能够学习到:

  • 了解并描述大数据技术的应用场景,真实世界的大数据问题和方法的例子。
  • 解释大数据4V的特性以及各种特性如何影响到数据的收集、监控、存储、分析和报告的方方面面。
  • 识别大数据问题,并能够将问题转化为数据科学问题。
  • 总结HDFS文件系统和MapReduce编程模型的特点和意义,以及它们与大数据的关系。
  • 识别和利用数据科学生命周期和相关数据流中的各种组件,如HBase,Hive等。

参考教程

  1. 《大数据处理技术原理与应用 第三版》——林子雨
  2. Big Data US SanDiego
  3. 《Hadoop权威指南》
  4. 《Hive编程指南》
  5. 《维度建模权威指南(第3版)》
  6. 《大数据处理之道》
  7. 《Spark快速大数据分析》
  8. 牛客网部分面试题

环境安装

  • Java 8
  • Hadoop 3.3.1
  • HBase 2.3.5 or 2.4.8
  • Mysql 8.0.32
  • Hive 2.3.9
  • Spark 3.2.0

安装包下载地址https://datawhale.feishu.cn/drive/folder/fldcnvODsgRWbyqVW9ApavEVEJg 密码: hO38

致谢

感谢以下Datawhale成员对项目推进作出的贡献(排名不分先后):

贡献者名单
成员 个人简介及贡献 个人主页
沈豪 复旦大学网安博士,项目负责人,参与前五章内容构建 知乎, Github
王洲烽 国防科技大学计算机研究生,Datawhale成员,主要贡献者 CSDN, Github
蒋志政 电子科技大学计算机研究生,主要贡献者 Github
王嘉鹏 小米大数据开发工程师,Datawhale成员,主要贡献者 CSDN, Github
刘洋 中科院数学与系统科学研究院研究生,Datawhale成员,主要贡献者 知乎, Github
胡锐锋 大数据平台研发工程师,Datawhale成员,主要贡献者 Github
最后,也感谢伊小雪、毛自翔、萌弟、边圣陶参与本课程的内部评审!

关注我们

扫描下方二维码关注公众号:Datawhale

  Datawhale是一个专注AI领域的开源组织,以“for the learner,和学习者一起成长”为愿景,构建对学习者最有价值的开源学习社区。关注我们,一起学习成长。

LICENSE

知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

More Repositories

1

pumpkin-book

《机器学习》(西瓜书)公式详解
22,983
star
2

leedl-tutorial

《李宏毅深度学习教程》(李宏毅老师推荐👍),PDF下载地址:https://github.com/datawhalechina/leedl-tutorial/releases
Jupyter Notebook
9,384
star
3

llm-cookbook

面向开发者的 LLM 入门教程,吴恩达大模型系列课程中文版
Jupyter Notebook
8,853
star
4

easy-rl

强化学习中文教程(蘑菇书🍄),在线阅读地址:https://datawhalechina.github.io/easy-rl/
Jupyter Notebook
8,032
star
5

joyful-pandas

pandas中文教程
Jupyter Notebook
4,304
star
6

competition-baseline

数据挖掘、计算机视觉、自然语言处理、推荐系统竞赛知识、代码、思路
Jupyter Notebook
3,978
star
7

fun-rec

推荐系统入门教程,在线阅读地址:https://datawhalechina.github.io/fun-rec/
Jupyter Notebook
3,304
star
8

hugging-llm

HuggingLLM, Hugging Future.
Jupyter Notebook
2,425
star
9

daily-interview

Datawhale成员整理的面经,内容包括机器学习,CV,NLP,推荐,开发等,欢迎大家star
HTML
2,258
star
10

team-learning

主要展示Datawhale的组队学习计划。
2,153
star
11

thorough-pytorch

PyTorch入门教程,在线阅读地址:https://datawhalechina.github.io/thorough-pytorch/
Jupyter Notebook
1,916
star
12

learn-nlp-with-transformers

we want to create a repo to illustrate usage of transformers in chinese
Shell
1,660
star
13

statistical-learning-method-solutions-manual

统计学习方法习题解答,在线阅读地址:https://datawhalechina.github.io/statistical-learning-method-solutions-manual
Jupyter Notebook
1,563
star
14

team-learning-data-mining

主要存储Datawhale组队学习中“数据挖掘/机器学习”方向的资料。
Jupyter Notebook
1,504
star
15

key-book

《机器学习理论导引》(宝箱书)的证明、案例、概念补充与参考文献讲解。
1,375
star
16

self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型,更适合中国宝宝的部署教程
Jupyter Notebook
1,352
star
17

llm-universe

本项目是一个面向小白开发者的大模型应用开发教程,在线阅读地址:https://datawhalechina.github.io/llm-universe/
Jupyter Notebook
1,133
star
18

hands-on-data-analysis

动手学数据分析以项目为主线,知识点孕育其中,通过边学、边做、边引导来得到更好的学习效果
Jupyter Notebook
1,041
star
19

hugging-multi-agent

A tutorial based on MetaGPT to quickly help you understand the concept of agent and muti-agent and get started with coding development
CSS
917
star
20

team-learning-nlp

主要存储Datawhale组队学习中“自然语言处理”方向的资料。
Jupyter Notebook
827
star
21

team-learning-program

主要存储Datawhale组队学习中“编程、数据结构与算法”方向的资料。
Jupyter Notebook
803
star
22

dive-into-cv-pytorch

动手学CV-Pytorch版
Python
781
star
23

wonderful-sql

Follow me,从 0 到 1 掌握 SQL。
625
star
24

machine-learning-toy-code

《机器学习》(西瓜书)代码实战
Jupyter Notebook
520
star
25

so-large-lm

大模型理论基础
508
star
26

leetcode-notes

🐳 LeetCode 算法笔记:面试、刷题、学算法。在线阅读地址:https://datawhalechina.github.io/leetcode-notes/
490
star
27

fantastic-matplotlib

Matplotlib中文教程,在线阅读地址:https://datawhalechina.github.io/fantastic-matplotlib/
Python
436
star
28

torch-rechub

A Lighting Pytorch Framework for Recommendation Models, Easy-to-use and Easy-to-extend.
Python
341
star
29

powerful-numpy

巨硬的NumPy
Jupyter Notebook
324
star
30

whale-quant

本项目为量化开源课程,可以帮助人们快速掌握量化金融知识以及使用Python进行量化开发的能力。
Jupyter Notebook
322
star
31

learn-python-the-smart-way

聪明方法学Python,简明且系统的 Python 入门教程。
Jupyter Notebook
301
star
32

team-learning-cv

主要存储Datawhale组队学习中“计算机视觉”方向的资料。
Jupyter Notebook
289
star
33

vced

VCED 可以通过你的文字描述来自动识别视频中相符合的片段进行视频剪辑。该项目基于跨模态搜索与向量检索技术搭建,通过前后端分离的模式,帮助你快速的接触新一代搜索技术。
Python
270
star
34

d2l-ai-solutions-manual

《动手学深度学习》习题解答,在线阅读地址如下:
Jupyter Notebook
249
star
35

office-automation

python自动化办公
Jupyter Notebook
211
star
36

team-learning-sql

主要存储Datawhale组队学习中“SQL”方向的资料。
172
star
37

DOPMC

Datawhale 开源项目管理委员会(Datawhale Open-source Project Management Committee,简称DOPMC)
169
star
38

learn-python-the-smart-way-v2

聪明办法学Python,简明且系统的 Python 入门教程第二版。
Jupyter Notebook
142
star
39

ensemble-learning

Jupyter Notebook
124
star
40

smoothly-vslam

VSLAM开源基础教程,各章节练习代码
C++
122
star
41

joyrl

An easier PyTorch deep reinforcement learning library.
Python
121
star
42

free-excel

开源Excel教程。
CSS
120
star
43

faster-git

a chinese tutorial of git
113
star
44

unusual-deep-learning

水很深的深度学习
105
star
45

agent-tutorial

96
star
46

grape-book

图深度学习(葡萄书),在线阅读地址: https://datawhalechina.github.io/grape-book
HTML
96
star
47

undingable-optimization

顶不住的运筹优化
92
star
48

sweetalk-design-pattern

基于《大话设计模式》对设计原则和设计模式进行解读。
C++
79
star
49

hugging-sd

Hugging StableDiffusion, Hugging Future.
Jupyter Notebook
76
star
50

hands-dirty-nlp

本课程面对具有一定机器学习基础,但尚未入门的NLPer或经验尚浅的NLPer,尽力避免陷入繁琐枯燥的公式讲解中,力求用代码展示每个模型背后的设计思想,同时也会带大家梳理每个模块下的技术演变,做到既知树木也知森林。
Jupyter Notebook
73
star
51

sora-tutorial

69
star
52

joyrl-book

Jupyter Notebook
66
star
53

huawei-od-python

华为OD算法题解
Python
64
star
54

paper-chart-tutorial

《科研论文配图》组队学习
50
star
55

wow-plotly

高级可视化神器plotly的学习
Jupyter Notebook
49
star
56

time-series-learning

天池”AI Earth“气象海洋预测竞赛的Topline学习教程
Jupyter Notebook
48
star
57

go-talent

Go天才小队
Go
47
star
58

zishu

wow-fullstack,令人惊叹的全栈开发教程
Jupyter Notebook
46
star
59

whale-anno

Datawhale自研数据标注工具
Vue
43
star
60

openmmlab-tutorial

帮助新手快速入门、快速使用、习惯 OpenMMLab 开源库官方文档且能够自主上手实验,自由选择阅读更深层的知识。
Jupyter Notebook
42
star
61

rl-papers

rl-papers
38
star
62

whale-paper

Datawhale论文分享,阅读前沿论文,分享技术创新
35
star
63

whale-starry

繁星点点,光芒万丈
C++
34
star
64

team-learning-rl

主要存储Datawhale组队学习中“强化学习”方向的资料。
28
star
65

llms-from-scratch-cn

Jupyter Notebook
28
star
66

whale-web

Python
27
star
67

ML-FTTI

机器学习 - 从原理到实现
Python
26
star
68

aima-notes

人工智能:现代方法(第4版)笔记
24
star
69

awesome-compression

模型压缩的小白入门教程
23
star
70

magic-cv

Jupyter Notebook
20
star
71

llm-research

16
star
72

coggle

Coggle数据科学
15
star
73

hugging-audio

Hugging Face Audio Course中文版,帮助学习者快速入门音频模态
Jupyter Notebook
14
star
74

easy-grokking-deep-learning

Easy-Grokking-Deep-Learning,意为轻松摸索深度学习,英文缩写可简称为EGDL。
Python
11
star
75

leeml-notes

leeml-notes已更名为leedl-tutorial,请访问:https://github.com/datawhalechina/leedl-tutorial
10
star
76

datawhale-linklearner

datawhale linklearner 网站
TypeScript
9
star
77

sweetalk-data-structure

电子书阅读地址
8
star
78

hugging-rl

Robot Learning Algorithms
8
star
79

what-is-vs

5
star
80

HandPoseKeyPoints

5
star
81

design-and-analysis-of-algorithm

4
star
82

hello-net

4
star
83

fun-marl

4
star
84

easy-ros2arm

Robotic arm with machine vision and its os is ROS2.
C++
3
star
85

ai-club

Datawhale 高校联盟
3
star
86

camel-agent-tutorial

This is a tutorial based on the CAMEL framework, aimed at understanding how to build an Agent Society from the ground up!
3
star
87

obsession-with-ai

2
star
88

latex-template

Datawhale LaTex Template
TeX
2
star
89

udl-tutorial

2
star
90

llm-deploy

2
star
91

whale-share

1
star
92

sweettalk-django

Python
1
star
93

whale-governance

Datawhale 组织治理小组负责推动组织持续发展,包括组织架构、文化、制度等工作
1
star
94

start-deep-learning-on-graphs

start-deep-learning-on-graphs
1
star
95

move-as-experts

Imitation Learning and Offline Reinforcement Learning.
1
star
96

datawhale-homepage

datawhale 官网介绍页
CSS
1
star
97

caublazer

Python
1
star
98

leegenai-tutorial

1
star