个人博客

kubernetes 部署--kubeadm部署kubernetes集群 ⑦

16 04月
作者:西洪室|分类:技术

环境规划:

* Proxy-Mode: IPVS

* DNS: CoreDNS

IP规划

IP1

IP2

IP3

高可用vip

192.168.22.100



master node

192.168.22.101

192.168.22.102

192.168.22.103

service-cluster-ip-range

10.96.0.0/12



cluster-cidr(Calico)

10.1.0.0/16



docker

172.16.0.0/23

172.17.2.0/23

172.16.4.0/23

服务器规划:

服务器规划

IP

软件

master1

192.168.22.101

kubernetes、外部etcd、calico、docker

master2

192.168.22.102

kubernetes、外部etcd、calico、docker

master3

192.168.22.103

kubernetes、外部etcd、calico、docker

node1

192.168.22.111

kubelet、kube-proxy、docker、 calico

node2

192.168.22.112

kubelet、kube-proxy、docker、 calico

node3

192.168.22.113

kubelet、kube-proxy、docker、 calico

一、安装k8s

添加阿里云的kubernetes源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubernetes

yum install -y kubelet kubernetes-cni kubeadm kubectl


启用 shell 自动补全功能

kubectl 支持自动补全功能,可以节省大量输入!

自动补全脚本由 kubectl 产生,您仅需要在您的 shell 配置文件中调用即可。

以下仅提供了使用命令补全的常用示例,更多详细信息,请查阅 kubectl completion -h 帮助命令的输出。

Linux 系统,使用 bash

执行 source <(kubectl completion bash) 命令在您目前正在运行的 shell 中开启 kubectl 自动补全功能。

可以将上述命令添加到 shell 配置文件中,这样在今后运行的 shell 中将自动开启 kubectl 自动补全:

echo "source <(kubectl completion bash)" >> ~/.bashrc


1.13.5配置文件修改:

sed -i '9a\Environment="KUBELET_EXTRA_ARGS=--pod-infra-container-image=registry.aliyuncs.com/google_containers/pause-amd64:3.1"' /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf

开启kubelet服务

systemctl enable --now kubelet


二、初始化Master节点

网络:Calico是一个纯三层的虚拟网络方案,Calico 为每个容器分配一个 IP,每个 host 都是 router,把不同 host 的容器连接起来。与 VxLAN 不同的是,Calico 不对数据包做额外封装,不需要 NAT 和端口映射,扩展性和性能都很好。

默认情况下,Calico网络插件使用的的网段是192.168.0.0/16,在init的时候,我们已经通过--pod-network-cidr=10.1.0.0/16来适配Calico,当然你也可以修改calico.yml文件来指定不同的网段。

为了运行 kubeadm,首先需要编写一个配置文件:

cat >config.yaml <<EOL
apiVersion: kubeadm.k8s.io/v1beta1
kind: ClusterConfiguration
imageRepository: registry.aliyuncs.com/google_containers
kubernetesVersion: stable
etcd:
    external:
        endpoints:
        - http://192.168.22.101:2379
        - http://192.168.22.102:2379
        - http://192.168.22.103:2379
controlPlaneEndpoint: "192.168.22.100:6443" 
networking:
   serviceSubnet: 10.96.0.0/12
   podSubnet: 10.1.0.0/16
apiServer:
  certSANs:
  - master1
  - master2
  - master3
  - "192.168.22.100"
  - "192.168.22.101"
  - "192.168.22.102"
  - "192.168.22.103"
  - "127.0.0.1"
  - kubernetes
  - kubernetes.default
  - kubernetes.default.svc
  - kubernetes.default.svc.cluster
  - kubernetes.default.svc.cluster.local
apiServerExtraArgs:
   endpoint-reconciler-type=lease
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: "ipvs"
EOL

使用稳定版stable或者用v1.14.0指定版本

kubernetesVersion: stable


安装

kubeadm init --config /root/config.yaml
W0402 13:27:43.277402    5801 strict.go:54] error unmarshaling configuration schema.GroupVersionKind{Group:"kubeadm.k8s.io", Version:"v1beta1", Kind:"ClusterConfiguration"}: error unmarshaling JSON: while decoding JSON: json: unknown field "apiServerExtraArgs"
I0402 13:27:53.278389    5801 version.go:96] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable.txt": Get https://storage.googleapis.com/kubernetes-release/release/stable.txt: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
I0402 13:27:53.278410    5801 version.go:97] falling back to the local client version: v1.14.0
[init] Using Kubernetes version: v1.14.0
[preflight] Running pre-flight checks
    [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Activating the kubelet service
[certs] Using certificateDir folder "/etc/kubernetes/pki"
[certs] Generating "ca" certificate and key
[certs] Generating "apiserver-kubelet-client" certificate and key
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [master1 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local master1 master2 master3 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 192.168.22.101 192.168.22.100 192.168.22.100 192.168.22.101 192.168.22.102 192.168.22.103 127.0.0.1]
[certs] Generating "front-proxy-ca" certificate and key
[certs] Generating "front-proxy-client" certificate and key
[certs] External etcd mode: Skipping etcd/ca certificate authority generation
[certs] External etcd mode: Skipping etcd/server certificate authority generation
[certs] External etcd mode: Skipping etcd/peer certificate authority generation
[certs] External etcd mode: Skipping apiserver-etcd-client certificate authority generation
[certs] External etcd mode: Skipping etcd/healthcheck-client certificate authority generation
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[apiclient] All control plane components are healthy after 16.501724 seconds
[upload-config] storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.14" in namespace kube-system with the configuration for the kubelets in the cluster
[upload-certs] Skipping phase. Please see --experimental-upload-certs
[mark-control-plane] Marking the node master1 as control-plane by adding the label "node-role.kubernetes.io/master=''"
[mark-control-plane] Marking the node master1 as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: jxa5jv.78js0ykwn004he5t
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] creating the "cluster-info" ConfigMap in the "kube-public" namespace
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
You can now join any number of control-plane nodes by copying certificate authorities
and service account keys on each node and then running the following as root:
  kubeadm join 192.168.22.100:6443 --token 7jmj8i.8n6ipnshop2g3vf3 \
    --discovery-token-ca-cert-hash sha256:a0a68fc255d1cf2d71d8f3501eb61123d04acd9ece6f90f8a722c25c800142d9 \
    --experimental-control-plane       
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.22.100:6443 --token 7jmj8i.8n6ipnshop2g3vf3 \
    --discovery-token-ca-cert-hash sha256:a0a68fc255d1cf2d71d8f3501eb61123d04acd9ece6f90f8a722c25c800142d9

如果init出现了错误,需要重新init的时候,可以 #kubeadm reset 重新初始化集群。

接着执行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看组件状态

[root@localhost ~]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok                  
scheduler            Healthy   ok                  
etcd-2               Healthy   {"health":"true"}   
etcd-0               Healthy   {"health":"true"}   
etcd-1               Healthy   {"health":"true"}   
[root@localhost ~]# kubectl get node
NAME      STATUS   ROLES    AGE     VERSION
master1   NotReady   master   4m50s   v1.14.0
[root@master1 ~]# kubectl get cm kube-proxy -n kube-system -o yaml|grep mode  #查看kube-proxy是否启用ipvs
    mode: ipvs

Master节点NotReady的原因就是因为没有使用任何的网络插件

三、同步证书、部署其他节点

scp /etc/kubernetes/admin.conf root@master2:/etc/kubernetes/
ssh root@master2 "mkdir -p /etc/kubernetes/pki"
scp /etc/kubernetes/pki/* root@master2:/etc/kubernetes/pki/
ssh root@master2 "rm -f /etc/kubernetes/pki/front-proxy-client*.* && rm -f /etc/kubernetes/pki/apiserver*.*"
scp /etc/kubernetes/admin.conf root@master3:/etc/kubernetes/
ssh root@master3 "mkdir -p /etc/kubernetes/pki"
scp /etc/kubernetes/pki/* root@master3:/etc/kubernetes/pki/
ssh root@master3 "rm -f /etc/kubernetes/pki/front-proxy-client*.* && rm -f /etc/kubernetes/pki/apiserver*.*"

其他master部署

在其他master执行,注意--experimental-control-plane参数

  kubeadm join 192.168.22.100:6443 --token 7jmj8i.8n6ipnshop2g3vf3 \
    --discovery-token-ca-cert-hash sha256:a0a68fc255d1cf2d71d8f3501eb61123d04acd9ece6f90f8a722c25c800142d9 \
    --experimental-control-plane

node部署

在node-04、node-05、node-06执行,注意没有--experimental-control-plane参数

kubeadm join 192.168.22.100:6443 --token 7jmj8i.8n6ipnshop2g3vf3 \
    --discovery-token-ca-cert-hash sha256:a0a68fc255d1cf2d71d8f3501eb61123d04acd9ece6f90f8a722c25c800142d9

注意:token有效期是有限的,如果旧的token过期,可以使用kubeadm token create --print-join-command重新创建一条token。

默认情况下,出于安全原因,您的群集不会在主服务器上安排pod。如果您希望能够在主服务器上安排pod,例如,对于用于开发的单机Kubernetes集群,请运行:

kubectl taint nodes --all node-role.kubernetes.io/master-

输出看起来像:

node "test-01" untainted
taint "node-role.kubernetes.io/master:" not found
taint "node-role.kubernetes.io/master:" not found

这将从node-role.kubernetes.io/master包含主节点的任何节点中删除污点,这意味着调度程序将能够在任何地方安排pod。


master不运行pod

kubectl taint nodes --all node-role.kubernetes.io/master=:NoSchedule


浏览2997 评论0
返回
目录
返回
首页
kubernetes 部署--Keepalived ⑥ kubernetes 部署--自动安装Calico ⑧

发表评论