Kubernetes（简称为：k8s）是Google在2014年6月开源的一个容器集群管理系统，使用Go语言开发，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效,Kubernetes提供了资源调度、部署管理、服务发现、扩容缩容、监控，维护等一整套功能，努力成为跨主机集群的自动部署、扩展以及运行应用程序容器的平台。 它支持一系列容器工具, 包括Docker、Containerd等。

一、集群环境准备

1.1 主机规划

1.2 软件版本

1.3 网络分配

二、集群部署

2.1主机准备

2.1.1 主机名设置

hostnamectl set-hostname xxx

2.1.2 主机与IP地址解析

cat >> /etc/hosts << EOF
192.168.31.32 k8s-ha01 
192.168.31.33 k8s-ha02 
192.168.31.34 k8s-master01 
192.168.31.35 k8s-master02 
192.168.31.36 k8s-master03 
192.168.31.37 k8s-node01 
192.168.31.38 k8s-node02 
EOF

2.1.3 主机安全设置

2.1.3.1 关闭防火墙

systemctl stop firewalld
systmctl disable firewalld
firewall-cmd --state

2.1.3.2 关闭selinux

setenforce 0
sed -ri 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
sestatus

2.1.4 交换分区设置

swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
echo "vm.swappiness=0" >> /etc/sysctl.conf
sysctl -p

2.1.5 主机系统时间同步

安装软件
yum -y install ntpdate

制定时间同步计划任务
crontab -e
0 */1 * * * ntpdate time1.aliyun.com

2.1.6 主机系统优化

limit优化

ulimit -SHn 65535

cat <<EOF >> /etc/security/limits.conf
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited
EOF

2.1.7 ipvs管理工具安装及模块加载

为集群节点安装，负载均衡节点不用安装

yum -y install ipvsadm ipset sysstat conntrack libseccomp

所有节点配置ipvs模块，在内核4.19+版本nf_conntrack_ipv4已经改为nf_conntrack， 4.18以下使用nf_conntrack_ipv4即可： 
 
modprobe -- ip_vs 
modprobe -- ip_vs_rr 
modprobe -- ip_vs_wrr 
modprobe -- ip_vs_sh 
modprobe -- nf_conntrack 

创建 /etc/modules-load.d/ipvs.conf 并加入以下内容： 
cat >/etc/modules-load.d/ipvs.conf <<EOF 
ip_vs 
ip_vs_lc 
ip_vs_wlc 
ip_vs_rr 
ip_vs_wrr 
ip_vs_lblc 
ip_vs_lblcr 
ip_vs_dh 
ip_vs_sh 
ip_vs_fo 
ip_vs_nq 
ip_vs_sed 
ip_vs_ftp 
ip_vs_sh 
nf_conntrack 
ip_tables 
ip_set 
xt_set 
ipt_set 
ipt_rpfilter 
ipt_REJECT 
ipip 
EOF

2.1.8 加载containerd相关内核模块

临时加载模块

modprobe overlay
modprobe br_netfilter

永久性加载模块

cat > /etc/modules-load.d/containerd.conf << EOF
overlay
br_netfilter
EOF

设置为开机启动
systemctl enable --now systemd-modules-load.service

2.1.9 Linux内核升级

在所有节点中安装,需要重新操作系统更换内核。

[root@wangmanyuan ~]# yum -y install perl

[root@wangmanyuan ~]# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

[root@wangmanyuan ~]# yum -y install https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm

[root@wangmanyuan ~]# yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * elrepo-kernel: mirrors.tuna.tsinghua.edu.cn
Available Packages
elrepo-release.noarch                                      7.0-6.el7.elrepo                               elrepo-kernel
kernel-lt.x86_64                                           5.4.260-1.el7.elrepo                           elrepo-kernel
kernel-lt-devel.x86_64                                     5.4.260-1.el7.elrepo                           elrepo-kernel
kernel-lt-doc.noarch                                       5.4.260-1.el7.elrepo                           elrepo-kernel
kernel-lt-headers.x86_64                                   5.4.260-1.el7.elrepo                           elrepo-kernel
kernel-lt-tools.x86_64                                     5.4.260-1.el7.elrepo                           elrepo-kernel
kernel-lt-tools-libs.x86_64                                5.4.260-1.el7.elrepo                           elrepo-kernel
kernel-lt-tools-libs-devel.x86_64                          5.4.260-1.el7.elrepo                           elrepo-kernel
kernel-ml.x86_64                                           6.6.1-1.el7.elrepo                             elrepo-kernel
kernel-ml-devel.x86_64                                     6.6.1-1.el7.elrepo                             elrepo-kernel
kernel-ml-doc.noarch                                       6.6.1-1.el7.elrepo                             elrepo-kernel
kernel-ml-headers.x86_64                                   6.6.1-1.el7.elrepo                             elrepo-kernel
kernel-ml-tools.x86_64                                     6.6.1-1.el7.elrepo                             elrepo-kernel
kernel-ml-tools-libs.x86_64                                6.6.1-1.el7.elrepo                             elrepo-kernel
kernel-ml-tools-libs-devel.x86_64                          6.6.1-1.el7.elrepo                             elrepo-kernel
perf.x86_64                                                5.4.260-1.el7.elrepo                           elrepo-kern

[root@wangmanyuan ~]# yum --enablerepo="elrepo-kernel"  install kernel-lt.x86_64

[root@wangmanyuan ~]# grub2-set-default 0

[root@wangmanyuan ~]# grub2-mkconfig -o /boot/grub2/grub.cfg

[root@wangmanyuan ~]# reboot

2.1.10 Linux内核优化

cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
fs.may_detach_mounts = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720

net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 131072
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
EOF

sysctl --system

所有节点配置完内核后，重启服务器，保证重启后内核依旧加载
reboot -h now

重启后查看ipvs模块加载情况：
lsmod | grep --color=auto -e ip_vs -e nf_conntrack

重启后查看containerd相关模块加载情况：
lsmod | egrep 'br_netfilter | overlay'

2.1.11 其它工具安装(选装)

yum install wget jq psmisc vim net-tools telnet yum-utils device-mapper-persistent-data lvm2 git lrzsz -y