本文主要介绍部署openyurt组件到k8s集群中。
1. 给云端节点和边缘节点打标签
openyurt将k8s节点分为云端节点和边缘节点,云端节点主要运行一些云端的业务,边缘节点运行边缘业务。当与 apiserver
断开连接时,只有运行在边缘自治的节点上的Pod才不会被驱逐。通过打 openyurt.io/is-edge-worker
的标签的方式来区分,false
表示云端节点,true
表示边缘节点。
云端组件:
-
yurt-controller-manager
-
yurt-tunnel-server
边缘组件:
-
yurt-hub
-
yurt-tunnel-agent
1 2 3 4 5
| kubectl label node us-west-1.192.168.0.87 openyurt.io/is-edge-worker=false
kubectl label node us-west-1.192.168.0.88 openyurt.io/is-edge-worker=true
|
1.2. 给边缘节点开启自治模式
1
| kubectl annotate node us-west-1.192.168.0.88 node.beta.openyurt.io/autonomy=true
|
2. 安装准备
2.1. 调整k8s组件的配置
参考调整k8s组件的配置
2.2. 部署tunnel-dns
1 2
| wget https://raw.githubusercontent.com/openyurtio/openyurt/master/config/setup/yurt-tunnel-dns.yaml kubectl apply -f yurt-tunnel-dns.yaml
|
获取clusterIP,作为kube-apiserver的专用nameserver地址。
1
| kubectl -n kube-system get svc yurt-tunnel-dns -o=jsonpath='{.spec.clusterIP}'
|
3. 部署openyurt控制面
通过helm来部署控制面,所有helm charts都可以在openyurt-helm 仓库中找到。
快捷安装可参考脚本:helm-install-openyurt.sh
1
| helm repo add openyurt https://openyurtio.github.io/openyurt-helm
|
3.1. yurt-app-manager
1
| helm upgrade --install yurt-app-manager -n kube-system openyurt/yurt-app-manager
|
3.2. openyurt
在openyurt/openyurt
中的组件包括:
由于yurt-tunnel-server默认使用host模式,因此可能存在边缘端的agent无法访问云端的tunnel-server,需要为tunnel-server配置一个可访问的地址。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
| helm pull openyurt/openyurt --untar
cd openyurt vi values.yaml
yurtTunnelServer: replicaCount: 1 tolerations: [] parameters: certDnsNames: "<tunnel server的域名>" tunnelAgentConnectPort: <tunnel server端口,默认为10262> certIps: ""
yurtTunnelAgent: replicaCount: 1 tolerations: [] parameters: tunnelserverAddr: "<tunnel server的地址,包括端口>"
helm install openyurt ./openyurt
|
4. 部署 Yurthub(edge)
在 yurt-controller-manager
启动并正常运行后,以静态 pod 的方式部署 Yurthub
。
- 为 yurthub 创建全局配置(即RBAC, configmap)
1 2
| wget https://raw.githubusercontent.com/openyurtio/openyurt/master/config/setup/yurthub-cfg.yaml kubectl apply -f yurthub-cfg.yaml
|
- 在边缘节点以static pod方式创建yurthub
1 2 3 4 5 6 7 8 9 10
| mkdir -p /etc/kubernetes/manifests/ cd /etc/kubernetes/manifests/ wget https://raw.githubusercontent.com/openyurtio/openyurt/master/config/setup/yurthub.yaml
kubeadm token create
sed -i 's|__kubernetes_master_address__|1.2.3.4:6443|; s|__bootstrap_token__|07401b.f395accd246ae52d|' /etc/kubernetes/manifests/yurthub.yaml
|
5. 重置 Kubelet
重置 kubelet 服务,让它通过 yurthub 访问apiserver。为 kubelet 服务创建一个新的 kubeconfig 文件来访问apiserver。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
| mkdir -p /var/lib/openyurt cat << EOF > /var/lib/openyurt/kubelet.conf apiVersion: v1 clusters: - cluster: server: http://127.0.0.1:10261 name: default-cluster contexts: - context: cluster: default-cluster namespace: default user: default-auth name: default-context current-context: default-context kind: Config preferences: {} EOF
|
修改/etc/systemd/system/kubelet.service.d/10-kubeadm.conf
1 2
| sed -i "s|KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=\/etc\/kubernetes\/bootstrap-kubelet.conf\ --kubeconfig=\/etc\/kubernetes\/kubelet.conf|KUBELET_KUBECONFIG_ARGS=--kubeconfig=\/var\/lib\/openyurt\/kubelet.conf|g" \ /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
|
重启kubelet服务
1
| systemctl daemon-reload && systemctl restart kubelet
|
6. yurthub部署脚本
根据以上部署步骤,整理部署脚本。需要修改脚本内容的master-addr
和token
字段。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37
| #!/bin/bash set -e set -x
mkdir -p /etc/kubernetes/manifests/ cd /etc/kubernetes/manifests/ wget https://raw.githubusercontent.com/openyurtio/openyurt/master/config/setup/yurthub.yaml
sed -i 's|__kubernetes_master_address__|<master-addr>:6443|; s|__bootstrap_token__|<token>|' /etc/kubernetes/manifests/yurthub.yaml
mkdir -p /var/lib/openyurt cat << EOF > /var/lib/openyurt/kubelet.conf apiVersion: v1 clusters: - cluster: server: http://127.0.0.1:10261 name: default-cluster contexts: - context: cluster: default-cluster namespace: default user: default-auth name: default-context current-context: default-context kind: Config preferences: {} EOF
cp /etc/systemd/system/kubelet.service.d/10-kubeadm.conf /etc/systemd/system/kubelet.service.d/10-kubeadm.conf.bak sed -i "s|KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=\/etc\/kubernetes\/bootstrap-kubelet.conf\ --kubeconfig=\/etc\/kubernetes\/kubelet.conf|KUBELET_KUBECONFIG_ARGS=--kubeconfig=\/var\/lib\/openyurt\/kubelet.conf|g" \ /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
systemctl daemon-reload && systemctl restart kubelet
|
参考: