CloudEon云原生大数据平台
ℹ️ 项目简介
CloudEon是一款基于kubernetes的开源大数据平台，旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台致力于简化多种大数据服务在kubernetes上的部署和管理，如Hadoop、Doris、Spark、Flink、Hive、Kafka等，能够满足不同规模和业务需求下的大数据处理和分析需求。
🔗 文档快链
项目相关介绍，使用，最佳实践等相关内容，都会在官方文档呈现，如有疑问，请先阅读官方文档，以下列举以下常用快链。
🔍 功能特点
-
🚀 快速搭建大数据集群：通过CloudEon，用户可以在kubernetes上快速搭建部署hadoop集群、doris集群等大数据集群，省去了手动安装和配置的繁琐过程。 -
🐳 容器化运行所有大数据服务：CloudEon将所有大数据服务都以容器方式运行，使得这些服务的部署和管理更加灵活和便捷，同时也能更好地利用kubernetes的资源调度和管理能力。 -
📈 支持监控告警等功能：CloudEon提供了监控告警等功能，帮助用户实时监控集群运行状态，及时发现和解决问题。 -
🔧 支持配置修改等功能：CloudEon还提供了配置修改等功能，使得用户能够更加灵活地管理和配置自己的大数据集群。 -
🤖 自动化运维：CloudEon通过自动化运维，能够降低集群管理的难度和人力成本，同时也能提高集群的可用性和稳定性。 -
👀 可视化管理界面：CloudEon提供了可视化的管理界面，使得用户能够更加直观地管理和监控自己的大数据集群 -
🔌 灵活的扩展性：提供了插件机制，让用户可以自定义拓展和安装更多的大数据服务。这个插件机制是基于开放API和标准化接口实现的，可以支持用户快速开发和集成新的服务。 -
📊 多种大数据服务支持：除了hadoop和doris，CloudEon还支持其他多种大数据服务的部署和管理，如Spark、Flink、Hive、Kyuubi等。
页面功能概览：
 |
 |
|---|---|
 |
 |
 |
 |
 |
 |
👨💻 开源地址
🏖 开源初衷
容器化设计可以很好地屏蔽操作系统细节，提高隔离性，并在构建过程中提前安装依赖的外部环境和工具，从而使得后续的服务可以在不同的服务器环境中运行。
在研究Hadoop on Kubernetes时，我们采用了helm完成了服务依赖顺序、配置关联影响和容器编排等工作。我们还整合了Doris（多Fe多Be）、DolphinScheduler、Kyuubi和Spark等服务，并实现了使用一句helm install命令即可正确启动这些相互依赖的服务。
在使用helm + Kubernetes（具体可参考：源码 ）来部署管理大数据集群过程中，我们发现这种方法大大减少了部署时间，提高了部署大数据集群的成功率。然而，运维管理的体验不尽人意，因为使用通用型Kubernetes的管理工具来管理大数据服务是不容易的，这需要开发者掌握Pod、Service、Configmap等知识。
对于习惯使用类似Ambari、CM这样的平台的大数据工程师来说，学习成本还是太高了。因此，我们开发了CloudEon，并将其开源。
CloudEon致力于将大数据服务迁移到云上，并帮助大数据生态组件更好地与云原生相融合。
🥰 感谢
感谢如下优秀的项目，没有这些项目，不可能会有CloudEon：
-
后端技术栈
-
前端技术栈
-
另外特别感谢
- Ambari ：参考其对大数据组件的安全管理、可拓展大数据组件包管理
- datasophon ：参考其优秀的监控告警体系
🤗 另外
- 如果觉得项目不错，麻烦动动小手点个
⭐️ star⭐️ ! - 如果你还有其他想法或者需求，欢迎在issue中交流！
📝 使用登记
如果你所在公司使用了该项目，烦请在这里留下脚印，感谢支持
💎 优秀软件推荐
🦊 Kyuubi：为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL服务🦄 Doris：简单易用、高性能和统一的分析数据库🐬 DolphinScheduler：分布式和可扩展的开源工作流调度平台
🤝 贡献者
Thanks goes to these wonderful people (emoji key):
 Pandas886 |
 Mericol |
 Koyfin |
 mechaelyoung |
 且炼时光 |
 XiuhongTang |
 KangTomwk |
 Cheng Pan |
 maiwang li |
This project follows the all-contributors specification. Contributions of any kind welcome!