• Stars
    star
    309
  • Rank 135,306 (Top 3 %)
  • Language
    Python
  • License
    GNU General Publi...
  • Created almost 5 years ago
  • Updated over 2 years ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

kubeflow国内一键安装文件

Kubeflow安装及使用教程(中国版)

由于国内网络问题,Kubeflow 通常安装都是各种磕磕碰碰,以一颗为广大人民谋福利的心,这里提供中国的本地镜像版(阿里云镜像/dockerhub)的安装。 同时这里汇总了一些kubeflow的中文教程资料供大家参考。

Kubeflow 使用教程

安装步骤

安装k8s

如果已经有k8s集群,这一步可以跳过,直接到kubeflow安装

kind安装k8s集群

下载kind工具

使用kind安装k8s集群:

$ kind create cluster --config=kind/kind-config.yaml --name=kubeflow --image=kindest/node:v1.16.15

启动成功后可以看到开了一个30000端口:

$ docker ps
CONTAINER ID   IMAGE                  COMMAND                  CREATED         STATUS         PORTS                                                 NAMES
5f67af713e28   kindest/node:v1.19.1   "/usr/local/bin/entr…"   3 minutes ago   Up 3 minutes   0.0.0.0:30000->30000/tcp, 127.0.0.1:56682->6443/tcp   kubeflow-control-plane

由于 kubeflow 实验组件较多,最好准备机器的最低配置能够大于CPU8核,内存32G以上。

安装kubeflow

2.启动

$ python install.py

等待镜像拉取,由于涉及的镜像比较多,要20~30分钟左右,可以通过命令查看是否就绪:

3.查看结果

$ kubectl get pod -nkubeflow
NAME                                                        READY   STATUS    RESTARTS   AGE
admission-webhook-deployment-6fb9d65887-pzvgc               1/1     Running   0          19h
cache-deployer-deployment-7558d65bf4-jhgwg                  2/2     Running   1          3h54m
cache-server-c64c68ddf-lx7xq                                2/2     Running   0          3h54m
centraldashboard-7b7676d8bd-g2s8j                           1/1     Running   0          4h46m
jupyter-web-app-deployment-66f74586d9-scbsm                 1/1     Running   0          3h4m
katib-controller-77675c88df-mx4rh                           1/1     Running   0          19h
katib-db-manager-646695754f-z797r                           1/1     Running   0          19h
katib-mysql-5bb5bd9957-gbl5t                                1/1     Running   0          19h
katib-ui-55fd4bd6f9-r98r2                                   1/1     Running   0          19h
kfserving-controller-manager-0                              2/2     Running   0          19h
kubeflow-pipelines-profile-controller-5698bf57cf-dhtsj      1/1     Running   0          3h52m
metacontroller-0                                            1/1     Running   0          4h52m
metadata-envoy-deployment-76d65977f7-rmlzc                  1/1     Running   0          4h52m
metadata-grpc-deployment-697d9c6c67-j6dl2                   2/2     Running   3          4h52m
metadata-writer-58cdd57678-8t6gw                            2/2     Running   1          4h52m
minio-6d6784db95-tqs77                                      2/2     Running   0          4h45m
ml-pipeline-85fc99f899-plsz2                                2/2     Running   1          4h52m
ml-pipeline-persistenceagent-65cb9594c7-xvn4j               2/2     Running   1          4h52m
ml-pipeline-scheduledworkflow-7f8d8dfc69-7wfs4              2/2     Running   0          4h52m
ml-pipeline-ui-5c765cc7bd-4r2j7                             2/2     Running   0          4h52m
ml-pipeline-viewer-crd-5b8df7f458-5b8qg                     2/2     Running   1          4h52m
ml-pipeline-visualizationserver-56c5ff68d5-92bkf            2/2     Running   0          4h52m
mpi-operator-789f88879-n4xms                                1/1     Running   0          19h
mxnet-operator-7fff864957-vq2bg                             1/1     Running   0          19h
mysql-56b554ff66-kd7bd                                      2/2     Running   0          4h45m
notebook-controller-deployment-74d9584477-qhpp8             1/1     Running   0          19h
profiles-deployment-67b4666796-k7t2h                        2/2     Running   0          19h
pytorch-operator-fd86f7694-dxbgf                            2/2     Running   0          19h
tensorboard-controller-controller-manager-fd6bcffb4-k9qvx   3/3     Running   1          19h
tensorboards-web-app-deployment-78d7b8b658-dktc6            1/1     Running   0          19h
tf-job-operator-7bc5cf4cc7-gk8tz                            1/1     Running   0          19h
volumes-web-app-deployment-68fcfc9775-bz9gq                 1/1     Running   0          19h
workflow-controller-566998f76b-2v2kq                        2/2     Running   1          4h52m
xgboost-operator-deployment-5c7bfd57cc-9rtq6                2/2     Running   1          19h

如果所有pod 都running了表示安装完了。

注:除了kubeflow命名空间,该一键安装工具也会安装istio,knative,因此也要保证这两个命名空间下的服务全部running 如果你的mysql没启动成功,可以运行kubectl apply -f database-patch/mysql-persistent-storage.yaml

全部pod running后,可以访问本地的30000端口(istio-ingressgateway设置了nodeport为30000端口),就可以看到登录界面了:

输入账号密码即可登录,这里的账号密码可以通过patch/auth.yaml进行更改。 默认的用户名是[email protected],密码是password

登录后进入kubeflow界面:

删除kubeflow资源

 kind delete cluster --name kubeflow

如果不希望流量鉴权,可以把istio的authorizationpolicies全部删除

kubectl delete authorizationpolicies --all -A

More Repositories

1

socks5proxy

一个简单的socks5代理转发服务(VPN)
Go
158
star
2

AutoPerusalProcedure

英文作文自动批阅程序,主要包括拼写检测、语法检测、语句一致性检测与主题检测等几个部分。
Roff
58
star
3

MyPresentations

this is my presentaion area .个人演讲稿展示区,主要展示一些平时的个人演讲稿或者心得之类的,
Jupyter Notebook
57
star
4

gocanvas

一个golang的3D模型动画演示库,支撑gltf,obj,fbx格式
JavaScript
22
star
5

CNKI_crawler

A simple crawler about CNKI.一个简单的CNKI爬虫
Python
19
star
6

backTrace

golang 股票回测代码
Go
10
star
7

proxy_scrapy

proxy_scrapy是一个scrapy搭建的代理模块,主要包括代理抓取、代理测试和使用代理三个模块。包括了对主要的代理网站的抓取和代理稳定性的测试,并整合进scrapy爬虫当中。
Python
10
star
8

HanZiToPingYin

一个Python应用,将汉字转换成拼音,解决一些软件无法读取中文的错误。
Python
8
star
9

bigbooom

一个基于Django的泛资讯网站,包括优质技术博客,前沿资讯,金融投资,游戏娱乐,生活达人等。
JavaScript
7
star
10

BaiduMapAPI

A Simple Library of Python Baidu Map API , make easy when you want to use map data.
Python
7
star
11

cloudnative-technical-manual

《云原生技术开发手册》
7
star
12

IAPlatform

IAPlatform is the abbreviation of “Intelligent algorithm platform”, it provides big data processing functions and a lot of algorithm interface. (IAPlatform是"智能算法平台"缩写, 它为大家提供了大数据处理能力和多种算法接口。)
JavaScript
5
star
13

WeightDistance

这个小脚本是一个用Python写成的计算几何距离权重的小脚本,主要是arcgis自动化的应用。
Python
4
star
14

JSRender

基于koa + puppeteer 构建的 SSR 服务端渲染,可以帮助网站SEO优化
JavaScript
4
star
15

baike

百度百科scrapy爬虫例子(基于redis)
Python
4
star
16

abu-extend

the functions for abupy extend, inclund real-time trading platform and some machine learning
Python
3
star
17

IoTHub

一个IoT管理平台,兼容阿里巴巴Alink物联网协议,提供一个私有化的开源IoT平台
CSS
2
star
18

game-npc

一个基于大模型实现的 game npc 框架,利用 function call 和知识库满足长记忆和智能战斗、好感管理
TypeScript
2
star
19

json_to_xls

将json文件转换为xls文件格式
Python
2
star
20

scrapy_template

一个用来生成scrapy的项目的脚本
Python
1
star
21

vela-example

some workload and traits for vela, like hpa, istio virtualserver etc.
CUE
1
star
22

cloud-native-qa

云原生新手答疑Q&A锦集
1
star
23

default-rules

一个简单k8s自定义管理规则,比如基于命名空间设置亲和性,资源分配,边车注入等
Go
1
star
24

technical-standard

技术规范,主要包括版本管理、CI/CD、团队管理等各类的技术规范
1
star
25

kaggle-every-day-study

每周一练 Kaggle 讲解,每周一个kaggle案例
Jupyter Notebook
1
star