brunch

매거진 Amazon EKS 스터디

라이킷 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by Master Seo Sep 14. 2021

EKS 4탄-14. EKS AutoScaling 실습

실습 4탄 = 14/17

<1> 오토 스케일링 3가지

<2> 실습1 - EKS 운영 뷰 - KUBERNETES OPERATIONAL VIEW 설치

<3> 실습2 - Node 수를 늘리는 CA (Cluster AutoScaler) 설정

<4> 배포 , CA

<5> 삭제

<6> Pod 수를 늘리는 HPA (Horizontal Pod Autoscaler) 실습

<7> Pod 사양을 높이는 VPA( Vertical Pod Autoscaler) 실습

<8> Node 수를 늘리는 CA (Cluster AutoScaler) 실습

<10> 다음편 - EKS-Fargate

<1> 오토 스케일링 3가지

Pod 수를 늘리는 HPA (Horizontal Pod Autoscaler)

Pod 사양을 높이는 VPA( Vertical Pod Autoscaler)

Work Node 수를 늘리는 CA (Cluster AutoScaler) = 물리서버 증가

<2> 실습1 - EKS 운영 뷰 - KUBERNETES OPERATIONAL VIEW 설치

변경되는 부분을 쉽게 확인하도록 VIEW를 설치한다.

curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash

helm repo add stable https://charts.helm.sh/stable

helm install kube-ops-view stable/kube-ops-view --set service.type=LoadBalancer --set rbac.create=True

AWS CLB 생성 후 대상(인스턴스) 헬스체크 까지 2~3분 정도 시간 소요

kubectl get svc kube-ops-view | tail -n 1 | awk '{ print "Kube-ops-view URL = http://"$4 }'

http url을 웹브라우저로 접속 (3분 걸림)

<3> 실습2 - Node 수를 늘리는 CA (Cluster AutoScaler) 설정

1) Cluster-autoscaler 파드가 필요하다.

2) IRSA 계정 권한도 필요하다.

이미지 출처

https://aws-eks-web-application.workshop.aws/ko/100-scaling/200-cluster-scaling.html

CA는 리소스 부족으로 Pod가 시작 되지 않으면, Node수를 자동으로 늘리는것.

Cluster Autoscale 동작하기 위해 Cluster-autoscaler 파드(디폴로이먼트)를 배치해야 한다.

1) Cluster-autoscaler 파드가 Autoscaler에서 상태 정보를 전달해 늘린다.

2) IRSA 권한도 필요하다.

CA는 pending 상태인 Pod가 존재할때 , Work node를 늘린다.

특정 시간을 간격으로 사용률을 확인하여 스케일 인/아웃을 수행합니다.

그리고 AWS에서는 Auto Scaling Group(ASG)을 사용하여 Cluster Autoscaler를 적용

현재 autoscaling(ASG) 정보 확인

현재 오토 스케일링 그룹으로 묶여 있다.

콘솔 > EC2 > 오토 스케일링 가서 확인 가능 하다.

// aws autoscaling describe-auto-scaling-groups --query "AutoScalingGroups[? Tags[? (Key=='eks:cluster-name') && Value=='클러스터이름']].[AutoScalingGroupName, MinSize, MaxSize,DesiredCapacity]" --output table

클러스터 이름

myeks

first-eks

aws autoscaling describe-auto-scaling-groups --query "AutoScalingGroups[? Tags[? (Key=='eks:cluster-name') && Value=='myeks']].[AutoScalingGroupName, MinSize, MaxSize,DesiredCapacity]" --output table

2개 , 최대 6개,

-------------------------------------------------------------------------

| DescribeAutoScalingGroups |

+--------------------------------------------------------+----+----+----+

| eks-ng-ddcb067-b135ec0-a13f-e9b6fb6306fd | 2 | 6 | 2 |

+--------------------------------------------------------+----+----+----+

AWS 콘솔 > EC2 > Autoscaling group에서도 볼수 있다.

MaxSize 수정

export ASG_NAME=$(aws autoscaling describe-auto-scaling-groups --query "AutoScalingGroups[? Tags[? (Key=='eks:cluster-name') && Value=='myeks']].AutoScalingGroupName" --output text)

first-eks

MaxSize 를 4로 수정

aws autoscaling update-auto-scaling-group --auto-scaling-group-name ${ASG_NAME} --min-size 2 --desired-capacity 2 --max-size 4

확인

aws autoscaling describe-auto-scaling-groups --query "AutoScalingGroups[? Tags[? (Key=='eks:cluster-name') && Value=='myeks']].[AutoScalingGroupName, MinSize, MaxSize,DesiredCapacity]" --output table

eks-ng-e3a4e584-f6bdf0da-af32-8f6c-3d0d-c26aa60a7089 | 2 | 4 | 2 |

Policy 파일 생성

권한 필요

워커 노드 2개 있는데, SetDesiredCapacity 를 늘리는 권한이 있어야 한다.

cat <<EoF > k8s-asg-policy.json

{

"Version": "2012-10-17",

"Statement": [

{

"Action": [

"autoscaling:DescribeAutoScalingGroups",

"autoscaling:DescribeAutoScalingInstances",

"autoscaling:DescribeLaunchConfigurations",

"autoscaling:DescribeTags",

"autoscaling:SetDesiredCapacity",

"autoscaling:TerminateInstanceInAutoScalingGroup",

"ec2:DescribeLaunchTemplateVersions"

"Resource": "*",

"Effect": "Allow"

}

]

}

EoF

100 policy.txt

// autoscaling 정보를 조회하고, DesiredCapacity 상태 세팅하는 것등 권한이 필요하다.

# IAM Policy 생성

aws iam create-policy --policy-name k8s-asg-policy --policy-document file://k8s-asg-policy.json

IRSA 생성 - iamserviceaccount 생성

echo $CLUSTER_NAME

ACCOUNT_ID=`aws sts get-caller-identity --query 'Account' --output text`

echo $ACCOUNT_ID

eksctl create iamserviceaccount --name cluster-autoscaler --namespace kube-system --cluster $CLUSTER_NAME --attach-policy-arn "arn:aws:iam::${ACCOUNT_ID}:policy/k8s-asg-policy" --approve --override-existing-serviceaccounts

배포

디플로이 먼트로 배포

Deploy the Cluster Autoscaler (CA)

curl -O https://raw.githubusercontent.com/kubernetes/autoscaler/master/cluster-autoscaler/cloudprovider/aws/examples/cluster-autoscaler-autodiscover.yaml

cat cluster-autoscaler-autodiscover.yaml | sed "s/<YOUR CLUSTER NAME>/$CLUSTER_NAME/g" | kubectl apply -f -

확인?

kubectl get pod -n kube-system | grep cluster-autoscaler

cluster-autoscaler-5549447d45-x79rl 0/1 CrashLoopBackOff 8 23m

모니터링용 pod 1개가 생겼다.

컨트롤러 역할을 한다.

부족하다고 판단이 되면, 오토 스케일러에 추가하라고 명령을 내린다.

kubectl describe deployments.apps -n kube-system cluster-autoscaler

cluster-autoscaler 파드가 동작하는 워커 노드가 퇴출(evict) 되지 않게 설정 (옵션)

kubectl -n kube-system annotate deployment.apps/cluster-autoscaler cluster-autoscaler.kubernetes.io/safe-to-evict="false"

cluster-autoscaler 버전 확인 ?

kubectl describe deployments.apps -n kube-system cluster-autoscaler | grep cluster-autoscaler:

cluster-autoscaler:

Image: k8s.gcr.io/autoscaling/cluster-autoscaler:v1.17.3

// cluster-autoscaler 이미지 버전이 1.17.3 이다.

cluster-autoscaler 1.21 이미지 버전으로 올리자.

autoscaler image 업데이트 하는 법 ?

export K8S_VERSION=$(kubectl version --short | grep 'Server Version:' | sed 's/[^0-9.]*$[0-9.]*$.*/\1/' | cut -d. -f1,2)

echo ${K8S_VERSION}

export AUTOSCALER_VERSION=$(curl -s "https://api.github.com/repos/kubernetes/autoscaler/releases" | grep '"tag_name":' | sed -s 's/.*-$[0-9][0-9\.]*$.*/\1/' | grep -m1 ${K8S_VERSION})

kubectl -n kube-system set image deployment.apps/cluster-autoscaler cluster-autoscaler=us.gcr.io/k8s-artifacts-prod/autoscaling/cluster-autoscaler:v${AUTOSCALER_VERSION}

kubectl describe deployments.apps -n kube-system cluster-autoscaler | grep cluster-autoscaler:

cluster-autoscaler:

Image: us.gcr.io/k8s-artifacts-prod/autoscaling/cluster-autoscaler:v1.21.0

// 버전 1.21 확인

지금까지는 cluster-autoscaler 파드 를 만들었다.

<4> 배포 , CA

샘플 배포

# We will deploy an sample nginx application as a ReplicaSet of 1 Pod

cat <<EoF> nginx.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

name: nginx-to-scaleout

spec:

replicas: 1

selector:

matchLabels:

app: nginx

template:

metadata:

labels:

service: nginx

app: nginx

spec:

containers:

- image: nginx

name: nginx-to-scaleout

resources:

limits:

cpu: 500m

memory: 512Mi

requests:

cpu: 500m

memory: 512Mi

EoF

110 nginx.txt

watch -d kubectl get pods,deployment

kubectl apply -f nginx.yaml

kubectl get deployment/nginx-to-scaleout

현재 node수 2개인것 확인

k get nodes

(seo-eks@myeks:default) [root@myeks-host ~]# k get nodes

NAME STATUS ROLES AGE VERSION

ip-192-168-1-167.ap-northeast-1.compute.internal Ready <none> 23h v1.21.2-eks-55daa9d

ip-192-168-2-85.ap-northeast-1.compute.internal Ready <none> 23h v1.21.2-eks-55daa9d

pod 를 10개로 늘려보자~

펜딩 되는게 보인다~

# Scale our ReplicaSet

# Let’s scale out the replicaset to 10

kubectl scale --replicas=10 deployment/nginx-to-scaleout

확인

kubectl get pods -l app=nginx -o wide --watch

kubectl -n kube-system logs -f deployment/cluster-autoscaler

# 노드 자동 증가 확인

aws autoscaling describe-auto-scaling-groups --query "AutoScalingGroups[? Tags[? (Key=='eks:cluster-name') && Value=='myeks']].[AutoScalingGroupName, MinSize, MaxSize,DesiredCapacity]" --output table

-------------------------------------------------------------------------

| DescribeAutoScalingGroups |

+--------------------------------------------------------+----+----+----+

| eks-ng-ddcb00bb-a47--a13f-e9b6fb6306fd | 2 | 6 | 4 |

+--------------------------------------------------------+----+----+----+

콘솔에서 확인 가능

EC2 > Auto Scaling 그룹

디플로이먼트 삭제

kubectl delete -f nginx.yaml

노드 수 축소

기본은 10분 후 scale down 됨

아래 flag 로 시간 수정 가능

디플로이먼트 삭제 후 10분 기다리고 나서 보자!

# By default, cluster autoscaler will wait 10 minutes between scale down operations,

# you can adjust this using the --scale-down-delay-after-add, --scale-down-delay-after-delete,

# and --scale-down-delay-after-failure flag.

# E.g. --scale-down-delay-after-add=5m to decrease the scale down delay to 5 minutes after a node has been added.

# 터미널1

watch -d kubectl get node

AWS 콘솔에서 확인

배포 참고

https://www.eksworkshop.com/beginner/080_scaling/test_ca/

<5> 삭제

cluster-autoscaler 삭제

cat cluster-autoscaler-autodiscover.yaml | sed "s/<YOUR CLUSTER NAME>/$CLUSTER_NAME/g" | kubectl delete -f -

irsa 삭제

eksctl delete iamserviceaccount --name cluster-autoscaler --namespace kube-system --cluster $CLUSTER_NAME --wait

<1> EKS-Fargate 장점 <2> EKS-Fargate 제약 <3> EKS-Fargate Profile? <4> EKS-Fargate를 위한 네트워크 구성 하기 <5> 삭제 <10> EKS실습4 전체 보기 <1> EKS-Fargate 장점 1 완전 관리형 서버리스 서비스 2 EKS-EC2의 경우

brunch.co.kr/@topasvga/1889

감사합니다.

keyword