kubernetes cluster 구성하기 (feat. containerd)

환경

OS: ubuntu 20.04

master node: 1대

worker node: 2대

서버: nhn cloud instance (다른것도 무관)

 

---

 

step 1. Initial setting (ALL Node)

 

1. 각 node들을 hosts에 등록시켜준다.

vi cat /etc/hosts
...
...
192.168.0.5		k8s-m-1
192.168.0.68	k8s-w-1
192.168.0.105	k8s-w-2

 

2. node들의 hostname을 변경해준다.

sudo hostnamectl set-hostname k8s-m-1 # master node
sudo hostnamectl set-hostname k8s-w-1 # worker-1 node
sudo hostnamectl set-hostname k8s-w-2 # worker-2 node

 

3. swap 을 사용중이면 끈다.

sudo swapoff –a
sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

---

 

step 2. Install containerd (ALL Node)

1. 필요한 모듈들을 로드 시켜준다.

sudo modprobe overlay
sudo modprobe br_netfilter
cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

 

2. bridge 패킷이 netfilter로 가게 설정 해준다. 쉽게 말하면 네트워크 패킷이 호스트머신의 iptables 설정에 따라 제어되도록 하는 것이다.

sudo tee /etc/sysctl.d/kubernetes.conf<<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

 

3. 설정 값을 적용시켜준다.

sudo sysctl –system

 

 

4. key를 가져와서 containerd 설치를 위해 패키지 저장소를 등록시켜준다.

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

 

 

5. 패키지 업데이트 후 containerd를 설치해준다.

1.6.13 ver을 설치하면 나중에 에러가 발생하므로, 1.6.12-1을 설치한다.

# https://yoonsu.tistory.com/42 참고

 

sudo apt update -y

sudo apt install -y containerd.io=1.6.12-1

 

 

6. containerd 설치 파일을 생성해준다.

sudo mkdir -p /etc/containerd

sudo containerd config default | sudo tee /etc/containerd/config.toml

 

 

7. 아래 설정 값을 false -> true로 변경 후 재시작

sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml

sudo systemctl restart containerd

 

 

 

---

 

step 3. Install kubernetes (ALL Node)

 

1. 설치를 위해 키와 저장소를 등록해준다.

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

 

 

2. 패키지 업데이트와 k8s를 설치해준다.

sudo apt update -y
sudo apt install -y kubelet kubeadm kubectl

 

 

3. (선택, ufw enable일경우) 방화벽에 규칙을 추가한다.

# master node 규칙

sudo ufw allow 6443/tcp
sudo ufw allow 2379/tcp
sudo ufw allow 2380/tcp
sudo ufw allow 10250/tcp
sudo ufw allow 10251/tcp
sudo ufw allow 10252/tcp
sudo ufw allow 10255/tcp
sudo ufw reload

 

# worker node 규칙

sudo ufw allow 10251/tcp
sudo ufw allow 10255/tcp
sudo ufw reload

 

 

4. 마지막으로 kubelet의 서비스를 enable 시켜준다.

sudo systemctl enable kubelet

 

 

---

 

step 4. Setting up ther Cluster (Master Node)

1. 클러스터 설정 전에 Kubernetes가 필요한 이미지를 가져올 수 있도록 한다.

sudo kubeadm config images pull

 

 

2. cluster 설정

sudo kubeadm init --pod-network-cidr=10.244.0.0/16

 

 

3. root계정외의 다른 계정에서 kubectl을 사용하려면 설정 해준다.

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

 만약 root계정에서 kubectl을 사용하려면 아래 처럼 설정 해준다.

export KUBECONFIG=/etc/kubernetes/admin.conf

 

 

4. 여기서 사용하는 CNI는 flannel를 사용한다.

kubectl apply -f https://github.com/coreos/flannel/raw/master/Documentation/kube-flannel.yml

$ kubectl get pods --all-namespaces
NAMESPACE      NAME                              READY   STATUS    RESTARTS      AGE
kube-flannel   kube-flannel-ds-7zxhh             1/1     Running   0             6h42m
...

 

pods log 보는법

kubectl describe pods $POD_NAME -n $NAMESPACE

ex) kubectl describe pods kube-flannel-ds-bhvmw -n kube-flannel

 

 

flannel에서 에러가 발생하면 아래 참고

subnet.env 에러

open /run/flannel/subnet.env: no such file or directory

 

memory.memsw.limit_in_bytes 에러

memory.memsw.limit_in_bytes: no such file or directory 해결법

 

 

 

step 4-1. Setting up ther Cluster (Worker Node)

1. kubeadm init을 했을 때 나온 join 명령어를 worker node에서 실행시켜준다.

sudo kubeadm join 192.168.0.5:6443 --token s3v1c6.dgufsxikpbn9kflf \
        --discovery-token-ca-cert-hash sha256:b8c63b1aba43ba228c9eb63133df81632a07dc780a92ae2bc5ae101ada623e00

 

 

step 5. Final (Master Node)

1. (선택) worker node에 roles 적용

kubectl label node $WORK_NODE_NAME node-role.kubernetes.io/worker=worker

ex) kubectl label node k8s-w-1 node-role.kubernetes.io/worker=worker

kubectl get nodes
NAME      STATUS   ROLES           AGE   VERSION
k8s-m-1   Ready    control-plane   31h   v1.26.0
k8s-w-1   Ready    worker          31h   v1.26.0
k8s-w-2   Ready    worker          31h   v1.26.0