久不弄k8s相关的内容，准备做一些关于k8s和容器相关内容的总结。先从k8s集群的安装开始，k8s集群的安装有两种方式：一种是基于原始的二进制包，通过手动安装的方式，配置好kube-proxy、kube-controller-manager、kube-apiserver、kube-scheduler、etcd、coredns等服务，这种安装方式的难点在于比较复杂的key配置和节点之间的关联，不过这种方式安装比较容易理解对于各组件用途、组件之间的关系，缺点就安装过程中比较复杂、耗时；第二种方式是基于docker容器的方式进行安装，这种安装方式比较快速，不过缺点是默认k8s.gcr.io镜像站是被屏蔽的，需要通过国内的镜像站安装。google官方文档给的是第二种方式。

一、ntp同步和时区配置

1yum -y install ntp
2timedatectl set-timezone Asia/Shanghai
3ntpdate ntp.aliyun.com

二、基础软件配置

 1# 依赖软件安装
 2yum -y install conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git
 3# iptables配置
 4systemctl stop firewalld && systemctl disable firewalld
 5yum -y install lrzsz
 6yum -y install iptables-services
 7systemctl start iptables
 8systemctl enable iptables
 9iptables -F
10service iptables save
11# 关闭swap和selinux
12swapoff -a
13sed -i 's/.*swap.*/#&/' /etc/fstab
14setenforce 0
15sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
16# tcp/ip参数优化设置
17cat > kubernetes.conf   /etc/systemd/journald.conf.d/99-prophet.conf   /etc/sysconfig/modules/ipvs.modules

三、docker镜像安装

 1# step 1: 安装必要的一些系统工具
 2sudo yum install -y yum-utils device-mapper-persistent-data lvm2
 3# Step 2: 添加软件源信息
 4sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
 5# Step 3
 6sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
 7# Step 4: 更新并安装Docker-CE
 8sudo yum makecache fast
 9sudo yum -y install docker-ce
10# Step 4: 开启Docker服务
11sudo service docker start

注意：官方软件源默认启用了最新的软件，您可以通过编辑软件源的方式获取各个版本的软件包。例如官方并没有将测试版本的软件源置为可用，您可以通过vim /etc/yum.repos.d/docker-ce.repo 将[docker-ce-test]下方的enabled=0修改为enabled=1方式开启。同理可以开启各种测试版本等。

安装指定版本的Docker-CE:

 1Step 1: 查找Docker-CE的版本:
 2# yum list docker-ce.x86_64 --showduplicates | sort -r
 3  Loading mirror speeds from cached hostfile
 4  Loaded plugins: branch, fastestmirror, langpacks
 5  docker-ce.x86_64            17.03.1.ce-1.el7.centos            docker-ce-stable
 6  docker-ce.x86_64            17.03.1.ce-1.el7.centos            @docker-ce-stable
 7  docker-ce.x86_64            17.03.0.ce-1.el7.centos            docker-ce-stable
 8  Available Packages
 9Step2: 安装指定版本的Docker-CE: (VERSION例如上面的17.03.0.ce.1-1.el7.centos)
10# yum -y install docker-ce-[VERSION]

四、k8s软件安装

这里的软件主要是kubelet kubeadm kubectl三个，先配置阿里源：

 1cat  /etc/yum.repos.d/kubernetes.repo
 2[kubernetes]
 3name=Kubernetes
 4baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
 5enabled=1
 6gpgcheck=1
 7repo_gpgcheck=1
 8gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
 9EOF
10setenforce 0
11yum install -y kubelet kubeadm kubectl
12systemctl enable kubelet && systemctl start kubelet

上面这些步骤在master节点和node节点上都要操作。如果还需要安装docker-compose软件，可以使用epel源进行安装，epel源配置如下：

1wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

还有自动补全等可选功能，也可以安装，具体如下：

 1# docker开机启动
 2systemctl enable docker
 3# 命令补全（输命令时按tab补全）
 4apt-get -y install bash-completion || yum -y install bash-completion
 5source /usr/share/bash-completion/bash_completion
 6echo "source /usr/share/bash-completion/bash_completion" >> ~/.bashrc
 7# docker命令补全
 8curl -L https://raw.githubusercontent.com/docker/docker/v$(docker version -f "{{.Client.Version}}")/contrib/completion/bash/docker -o /etc/bash_completion.d/docker
 9curl -L https://raw.githubusercontent.com/docker/compose/$(docker-compose version --short)/contrib/completion/bash/docker-compose -o /etc/bash_completion.d/docker-compose
10# k8s命令补全
11kubectl completion bash >/etc/bash_completion.d/kubectl
12kubeadm completion bash >/etc/bash_completion.d/kubeadm
13source /etc/bash_completion.d/kubectl
14source /etc/bash_completion.d/kubeadm

五、master节点配置

由于k8s.gcr.io被墙了，国内可以使用registry.cn-hangzhou.aliyuncs.com/google_containers/ 进行下载，下载完成后，再把镜像名称改成k8s.gcr.io/。

 1# 下载&命名组件
 2proxy_prefix='registry.cn-hangzhou.aliyuncs.com/google_containers/'
 3correct_prefix='k8s.gcr.io/'
 4need_images=($(kubeadm config images list --v=1))
 5for i in ${need_images[*]}
 6do
 7    down_name=${proxy_prefix}${i/${correct_prefix}/}
 8    docker pull ${down_name}
 9    docker tag ${down_name} ${i}
10    docker rmi ${down_name}
11done

当前的版本也可以不用这嘛麻烦的方法，可以通使用kubeadm init –image-repository指定源为阿里的源。

master节点上的相关安装比较简单，主要是里面的自定义配置部分，可以通过yaml文件方式进行安装，也可以通过在参数里进行指定：

 1# 输出kubeadm的默认配置，通过修改配置，如下
 2kubeadm config print init-defaults > kubeadm-config.yaml
 3vim kubeadm-config.yaml
 4kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
 5mkdir -p $HOME/.kube
 6sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 7sudo chown $(id -u):$(id -g) $HOME/.kube/config
 8kubectl get nodes
 9wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
10kubectl create -f kube-flannel.yml
11kubectl get pod  -n kube-system

上面使用的是flannel网络进行的CNI安装，也可以使用其他网络方式，比如weave，操作步骤如下：

1kubeadm init --kubernetes-version=1.15.1 --apiserver-advertise-address=192.168.175.128 --image-repository registry.aliyuncs.com/google_containers --service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16
2kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"
3kubectl get pod  -n kube-system

后面node节点需要用的join token如果忘记了，可以使用 kubeadm token list 指令获取。

六、node节点配置

node节点除了安第四步及以前的步骤安装好必须环境后，直接可以通过如下命令加入node节点：

1kubeadm join 192.168.175.128:6443 --token zgybfp.l2tymi4dnipc2bm7 \
2    --discovery-token-ca-cert-hash sha256:1be98571382adf5cfe70f3a91242a7beacf5e183d0d698a587ae9b5cc7b65ff3

master节点的token默认的有效时间是24小时，后面有新的node节点需要增加时，可以新增一个永不过期的token或者一个临时token，如下：

1kubeadm token create --print-join-command

使用kubeadm token create创建新的token,kubeadm token create –ttl 0生成一个永不过期的token 。

hash sha256 cert如果忘记了，可以通过如下命令反解析出来：

1openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

七、验证

安装完成后，在master节点执行如下命令确认：

1[root@kube-maste ~]# kubectl  get nodes
2NAME         STATUS   ROLES                  AGE    VERSION
3kube-maste   Ready    control-plane,master   7d8h   v1.20.4
4kube-node1   Ready                     7d8h   v1.20.4
5kube-node2   Ready                     7d8h   v1.20.4

可以使用kubectl get nodes -o wide查看更详细的信息。