EKS 8탄-9. Observability-9/17

EKS 8탄 - 4주차

본 내용은 CloudNet 주말 스터디 내용을 참고로 작성되었습니다.

https://gasidaseo.notion.site/gasidaseo/CloudNet-Blog-c9dfa44a27ff431dafdd2edacc8a1863

계속 테스트하며 내용과 설명이 업데이트 됩니다.

목표

메트릭 수집과 알람 기능 구현

프로메테우스-스택 설치 (kube-prometheus-stack)

그라파나 사용

<0> 선수 조건

<1> 프로메테우스 및 프로메테우스 오퍼레이터를 이용하여 메트릭 수집과 알람 이론

<2> 프로메테우스-스택 실습 (kube-prometheus-stack)

<3> 프로메테우스 기본 사용

<4> 그라파나 - 시각화

<5> 대시보드

<6> nginx web server 에서 수집하고자 한다.

<7> 그라파나 얼럿 Alert 기능

<0> 선수 조건

1

EKS 설치

myeks

eks-oneclick3 (4).yaml

cloudformation에서 바로 cluster가 설치되는게 보여야함.

k ns default

2

external dns , kubeops-view , load-balancer-controller 설치 필요.

https://brunch.co.kr/@topasvga/3239

4주차- EKS Observability1

3

수동설치는 ?

load-balancer-controller 수동설치

EFS csi driver 수동설치 = 사용 필요시 설치

<1> 프로메테우스 및 프로메테우스 오퍼레이터를 이용하여 메트릭 수집과 알람 이론

1

참고 블로그

https://malwareanalysis.tistory.com/566

pkos 스터디 4주차 - 메트릭 오픈소스 프로메테우스

2

오픈 소스

Pull 방식으로 데이터를 가져 온다.

Prometheus is an open-source systems monitoring and alerting toolkit originally

pull model over HTTP

3

구성도

수집 정보가 node에 저장되면, 가시화는 그라파나를 사용한다.

https://prometheus.io/docs/introduction/overview/

<2> 프로메테우스-스택 실습 (kube-prometheus-stack)

프로메테우스 스택으로 설치한다.

프로메테우스와 그라파나를 한번에 설치하자.

모니터링에 필요한 여러 요소를 단일 차트(스택)으로 제공.

1

# 모니터링 네임스페이스를 만든다.

kubectl create ns monitoring

k ns

default

kube-node-lease

kube-public

kube-system

monitoring

2

다른 터미널에서 모니터링~

watch kubectl get pod,pvc,svc,ingress -n monitoring

3

# 사용 리전의 인증서 ARN 확인

aws console 로그인

Cert manager에서 본인 도메인에 대해 인증함

*.masterseo1.link 설정함. issued (확인 됨) 필요

CERT_ARN=`aws acm list-certificates --query 'CertificateSummaryList[].CertificateArn[]' --output text`

echo $CERT_ARN

arn:aws:acm:ap-northeast-2:476286675138:certificate/b58f160e-7c6f-4ee8-850e-9bb274081129

4

# repo 추가

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts

5

프로메테우스와 그라파나를 한번에 설치하자.

alertmanager: // 얼럿 매니저는 사용 안함.

# 파라미터 파일 생성

cat <<EOT > monitor-values.yaml

prometheus:

prometheusSpec:

podMonitorSelectorNilUsesHelmValues: false

serviceMonitorSelectorNilUsesHelmValues: false

retention: 5d

retentionSize: "10GiB"

ingress:

enabled: true

ingressClassName: alb

hosts:

- prometheus.$MyDomain

paths:

- /*

annotations:

alb.ingress.kubernetes.io/scheme: internet-facing

alb.ingress.kubernetes.io/target-type: ip

alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'

alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN

alb.ingress.kubernetes.io/success-codes: 200-399

alb.ingress.kubernetes.io/load-balancer-name: myeks-ingress-alb

alb.ingress.kubernetes.io/group.name: study

alb.ingress.kubernetes.io/ssl-redirect: '443'

grafana:

defaultDashboardsTimezone: Asia/Seoul

adminPassword: prom-operator

ingress:

enabled: true

ingressClassName: alb

hosts:

- grafana.$MyDomain

paths:

- /*

annotations:

alb.ingress.kubernetes.io/scheme: internet-facing

alb.ingress.kubernetes.io/target-type: ip

alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'

alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN

alb.ingress.kubernetes.io/success-codes: 200-399

alb.ingress.kubernetes.io/load-balancer-name: myeks-ingress-alb

alb.ingress.kubernetes.io/group.name: study

alb.ingress.kubernetes.io/ssl-redirect: '443'

defaultRules:

create: false

kubeControllerManager:

enabled: false

kubeEtcd:

enabled: false

kubeScheduler:

enabled: false

alertmanager:

enabled: false

EOT

# alertmanager: // 얼럿 매니저는 사용 안함.

# ingress:

# enabled: true

# ingressClassName: alb

# hosts:

# - alertmanager.$MyDomain

# paths:

# - /*

# annotations:

# alb.ingress.kubernetes.io/scheme: internet-facing

# alb.ingress.kubernetes.io/target-type: ip

# alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'

# alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN

# alb.ingress.kubernetes.io/success-codes: 200-399

# alb.ingress.kubernetes.io/load-balancer-name: myeks-ingress-alb

# alb.ingress.kubernetes.io/group.name: study

# alb.ingress.kubernetes.io/ssl-redirect: '443'

// 5일 , 10GiB 데이터까지 저장한다.

retention: 5d

retentionSize: "10GiB"

cat monitor-values.yaml | yh

6

# 배포

helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack --version 45.0.0 -f monitor-values.yaml --namespace monitoring

(5분 걸림)

5분후

그라파나 접속 요망~

https://grafana.taeho11.co.kr/

잘 안되면 삭제 후 다른 버전으로 재 실행

삭제

helm uninstall -n monitoring kube-prometheus-stack

or

// 인터벌을 15초로 줄이는 경우

helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack --version 45.27.2 --set prometheus.prometheusSpec.scrapeInterval='15s' --set prometheus.prometheusSpec.evaluationInterval='15s' -f monitor-values.yaml --namespace monitoring

(5분 걸림)

7

k ns monitoring

watch -d kubectl get ingress,deploy,svc,pods

모니터링 확인!!!

kubectl get pod,svc,ingress -n monitoring

프로메테우스와 그라파나 도메인으로 인그레스가 나옴.

L7은 1개이다 = 인그레스 이름은 같다.

8

alb 확인

AWS 콘솔에서 alb 확인하자~

접속

https://prometheus.masterseo1.link/graph?g0.expr=&g0.tab=1&g0.stacked=0&g0.show_exemplars=0&g0.range_input=1h

https://grafana.masterseo1.link/login

9

# 확인

# alertmanager-0 : 사전에 정의한 정책 기반(예: 노드 다운, 파드 Pending 등)으로 시스템 경고 메시지를 생성 후 경보 채널(슬랙 등)로 전송

# grafana : 프로메테우스는 메트릭 정보를 저장하는 용도로 사용하며, 그라파나로 시각화 처리

# prometheus-0 : 모니터링 대상이 되는 파드는 ‘exporter’라는 별도의 사이드카 형식의 파드에서 모니터링 메트릭을 노출, pull 방식으로 가져와 내부의 시계열 데이터베이스에

저장

# node-exporter : 노드익스포터는 물리 노드에 대한 자원 사용량(네트워크, 스토리지 등 전체) 정보를 메트릭 형태로 변경하여 노출

# operator : 시스템 경고 메시지 정책(prometheus rule), 애플리케이션 모니터링 대상 추가 등의 작업을 편리하게 할수 있게 CRD 지원

# kube-state-metrics : 쿠버네티스의 클러스터의 상태(kube-state)를 메트릭으로 변환하는 파드

10

helm list -n monitoring

--------------------------------------------------------

NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION

kube-prometheus-stack monitoring 1 2023-05-18 16:06:34.696600102 +0900 KST deployed kube-prometheus-stack-45.27.2 v0.65.1

kubectl get pod,svc,ingress -n monitoring

kubectl get-all -n monitoring

kubectl get prometheus,servicemonitors -n monitoring

kubectl get crd | grep monitoring

11

삭제 - 아래 그라파나등 모든 테스트 완료 후 삭제 요망

# helm 삭제

helm uninstall -n monitoring kube-prometheus-stack

# crd 삭제

kubectl delete crd alertmanagerconfigs.monitoring.coreos.com

kubectl delete crd alertmanagers.monitoring.coreos.com

kubectl delete crd podmonitors.monitoring.coreos.com

kubectl delete crd probes.monitoring.coreos.com

kubectl delete crd prometheuses.monitoring.coreos.com

kubectl delete crd prometheusrules.monitoring.coreos.com

kubectl delete crd servicemonitors.monitoring.coreos.com

kubectl delete crd thanosrulers.monitoring.coreos.com

220 pro.txt

<3> 프로메테우스 기본 사용

1

모니터링 대상이 되는 서비스는 일반적으로 자체 웹 서버의 /metrics 엔드포인트 경로에 다양한 메트릭 정보를 노출

2

# 아래 처럼 프로메테우스가 각 서비스의 9100 접속하여 메트릭 정보를 수집

kubectl get node -owide

kubectl get svc,ep -n monitoring kube-prometheus-stack-prometheus-node-exporter

3

# 노드의 9100번의 /metrics 접속 시 다양한 메트릭 정보를 확인할수 있음

: 마스터 이외에 워커노드도 확인 가능

수집하는 정보는 ?

ssh ec2-user@$N1 curl -s localhost:9100/metrics

------------

:

# TYPE promhttp_metric_handler_requests_in_flight gauge

promhttp_metric_handler_requests_in_flight 1

# HELP promhttp_metric_handler_requests_total Total number of scrapes by HTTP status code.

# TYPE promhttp_metric_handler_requests_total counter

promhttp_metric_handler_requests_total{code="200"} 20

promhttp_metric_handler_requests_total{code="500"} 0

promhttp_metric_handler_requests_total{code="503"} 0

4

프로메테우스 ingress 도메인으로 웹 접속

# ingress 확인

kubectl get ingress -n monitoring kube-prometheus-stack-prometheus

NAME CLASS HOSTS ADDRESS PORTS AGE

kube-prometheus-stack-prometheus alb prometheus.masterseo0.link 80 35m

kubectl describe ingress -n monitoring kube-prometheus-stack-prometheus

5

# 프로메테우스 ingress 도메인으로 웹 접속

echo -e "Prometheus Web URL = https://prometheus.$MyDomain"

:kube-system) [root@myeks-bastion-EC2 ~]# echo -e "Prometheus Web URL = https://prometheus.$MyDomain"

Prometheus Web URL = https://prometheus.masterseo1.link

https://prometheus.taeho11.co.kr/graph

# 웹 상단 주요 메뉴 설명

1. 경고(Alert) : 사전에 정의한 시스템 경고 정책(Prometheus Rules)에 대한 상황

2. 그래프(Graph) : 프로메테우스 자체 검색 언어 PromQL을 이용하여 메트릭 정보를 조회 -> 단순한 그래프 형태 조회

3. 상태(Status) : 경고 메시지 정책(Rules), 모니터링 대상(Targets) 등 다양한 프로메테우스 설정 내역을 확인 > 버전(2.42.0)

4. 도움말(Help)

6

현재 각 Target 클릭 시 메트릭 정보 확인 : 아래 예시 ?

kube-proxy 확인

k get nodes -w

NAME STATUS ROLES AGE VERSION

ip-192-168-1-150.ap-northeast-2.compute.internal Ready <none> 16h v1.24.13-eks-0a21954

ip-192-168-2-82.ap-northeast-2.compute.internal Ready <none> 16h v1.24.13-eks-0a21954

ip-192-168-3-229.ap-northeast-2.compute.internal Ready <none> 16h v1.24.13-eks-0a21954

# serviceMonitor/monitoring/kube-prometheus-stack-kube-proxy/0 (3/3 up) 중

노드1에 Endpoint 접속 확인 (접속 주소는 실습 환경에 따라 다름)

curl -s http://192.168.1.150:10249/metrics | tail -n 5

rest_client_response_size_bytes_bucket{host="006fc3f3f0730a7fb3fdb3181f546281.gr7.ap-northeast-2.eks.amazonaws.com",verb="POST",le="4.194304e+06"} 1

rest_client_response_size_bytes_bucket{host="006fc3f3f0730a7fb3fdb3181f546281.gr7.ap-northeast-2.eks.amazonaws.com",verb="POST",le="1.6777216e+07"} 1

rest_client_response_size_bytes_bucket{host="006fc3f3f0730a7fb3fdb3181f546281.gr7.ap-northeast-2.eks.amazonaws.com",verb="POST",le="+Inf"} 1

rest_client_response_size_bytes_sum{host="006fc3f3f0730a7fb3fdb3181f546281.gr7.ap-northeast-2.eks.amazonaws.com",verb="POST"} 626

rest_client_response_size_bytes_count{host="006fc3f3f0730a7fb3fdb3181f546281.gr7.ap-northeast-2.eks.amazonaws.com",verb="POST"} 1

api-server 확인

# serviceMonitor/monitoring/kube-prometheus-stack-api-server/0 (2/2 up) 중 Endpoint 접속 확인 (접속 주소는 실습 환경에 따라 다름)

>> 해당 IP주소는 어디인가요?, 왜 apiserver endpoint는 2개뿐인가요? , 아래 메트릭 수집이 되게 하기 위해서는 어떻게 하면 될까요?

curl -s https://192.168.1.53/metrics | tail -n 5

...

code dns 확인

# 그외 다른 타켓의 Endpoint 로 접속 확인 가능 : 예시) 아래는 coredns 의 Endpoint 주소 (접속 주소는 실습 환경에 따라 다름)

curl -s http://192.168.1.75:9153/metrics | tail -n 5

# TYPE process_virtual_memory_bytes gauge

process_virtual_memory_bytes 7.79350016e+08

# HELP process_virtual_memory_max_bytes Maximum amount of virtual memory available in bytes.

# TYPE process_virtual_memory_max_bytes gauge

process_virtual_memory_max_bytes 1.8446744073709552e+19

exporter가 준비해준다.

프로메테우스가 정보를 가져온다.

230 pro-basic.txt

<4> 그라파나 - 시각화

1

소개

그라파나는 실제 데이터를 가지고 있지는 않다.

프로메테우스의 데이터를 가져와 시각화 하는 툴이다.

https://grafana.com/docs/grafana/latest/introduction/

https://grafana.com/blog/2023/04/26/grafana-9.5-release/

<필수1>

2

admin / prom-operator

# 그라파나 버전 확인

kubectl exec -it -n monitoring deploy/kube-prometheus-stack-grafana -- grafana-cli --version

------------------------------------

grafana cli version 9.5.1

//

파드내 명령을 실행함. exec -it 파드명.

모니터링 네임스페이스에 있는 , 프로메테우스-스텍-그라파나 파드에 , 그라파나-cli로 버전을 확인함.

# ingress 확인

kubectl get ingress -n monitoring kube-prometheus-stack-grafana

kube-prometheus-stack-grafana alb grafana.masterseo0.link 80 38m

3

kubectl describe ingress -n monitoring kube-prometheus-stack-grafana

4

# ingress 도메인으로 웹 접속 : 기본 계정 - admin / prom-operator

echo -e "Grafana Web URL = https://grafana.$MyDomain"

Grafana Web URL = https://grafana.masterseo1.link

https://grafana.masterseo1.link/login

3

기본 대시보드 제공한다.

프로메테우스를 소스로 선택할수 있도록 들어가 있다.

4

# 서비스 주소 확인

kubectl get svc,ep -n monitoring kube-prometheus-stack-prometheus

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

service/kube-prometheus-stack-prometheus ClusterIP 10.100.143.5 <none> 9090/TCP 21m

NAME ENDPOINTS AGE

endpoints/kube-prometheus-stack-prometheus 192.168.2.93:9090 21m

5

# 테스트용 파드 배포

cat <<EOF | kubectl create -f -

apiVersion: v1

kind: Pod

metadata:

name: netshoot-pod

spec:

containers:

- name: netshoot-pod

image: nicolaka/netshoot

command: ["tail"]

args: ["-f", "/dev/null"]

terminationGracePeriodSeconds: 0

EOF

kubectl get pod netshoot-pod

NAME READY STATUS RESTARTS AGE

netshoot-pod 0/1 ContainerCreating 0 2s

(1분후)

# 접속 확인

kubectl exec -it netshoot-pod -- nslookup kube-prometheus-stack-prometheus.monitoring

Server: 10.100.0.10

Address: 10.100.0.10#53

Name: kube-prometheus-stack-prometheus.monitoring.svc.cluster.local

Address: 10.100.136.167

kubectl exec -it netshoot-pod -- curl -s kube-prometheus-stack-prometheus.monitoring:9090/graph -v ; echo

* Trying 10.100.136.167:9090...

* Connected to kube-prometheus-stack-prometheus.monitoring (10.100.136.167) port 9090 (#0)

> GET /graph HTTP/1.1

> Host: kube-prometheus-stack-prometheus.monitoring:9090

> User-Agent: curl/8.0.1

> Accept: */*

>

< HTTP/1.1 200 OK

< Date: Thu, 18 May 2023 07:19:05 GMT

< Content-Length: 734

< Content-Type: text/html; charset=utf-8

<

* Connection #0 to host kube-prometheus-stack-prometheus.monitoring left intact

<!doctype html><html lang="en"><head><meta charset="utf-8"/><link rel="shortcut icon" href="./favicon.ico"/><meta name="viewport" content="width=device-width,initial-scale=1,shrink-to-fit=no"/><meta name="theme-color" content="#000000"/><script>const GLOBAL_CONSOLES_LINK="",GLOBAL_AGENT_MODE="false",GLOBAL_READY="true"</script><link rel="manifest" href="./manifest.json" crossorigin="use-credentials"/><title>Prometheus Time Series Collection and Processing Server</title><script defer="defer" src="./static/js/main.c1286cb7.js"></script><link href="./static/css/main.cb2558a0.css" rel="stylesheet"></head><body class="bootstrap"><noscript>You need to enable JavaScript to run this app.</noscript><div id="root"></div></body></html>

6

# 삭제

kubectl delete pod netshoot-pod

240 gra.txt

<5> 대시보드

https://grafana.com/grafana/dashboards/?pg=docs-grafana-latest-dashboards

https://grafana.com/orgs/imrtfm/dashboards

<필수1>

1

왼쪽위 - Dashboard → New → Import → 15757 입력 후 Load ⇒ 데이터소스(Prometheus 선택) 후 Import 클릭

KR] Dashboard → New → Import → 13770 or 17900 입력 후 Load ⇒ 데이터소스(Prometheus 선택) 후 Import 클릭

2

테스트

AWS CNI Metrics 16032

# PodMonitor 배포

cat <<EOF | kubectl create -f -

apiVersion: monitoring.coreos.com/v1

kind: PodMonitor

metadata:

name: aws-cni-metrics

namespace: kube-system

spec:

jobLabel: k8s-app

namespaceSelector:

matchNames:

- kube-system

podMetricsEndpoints:

- interval: 30s

path: /metrics

port: metrics

selector:

matchLabels:

k8s-app: aws-node

EOF

# PodMonitor 확인

kubectl get podmonitor -n kube-system

NAME AGE

aws-cni-metrics 25s

250 dash.txt

<6> nginx web server 에서 수집하고자 한다.

1

https://artifacthub.io/packages/helm/bitnami/nginx

2

# 모니터링

watch -d kubectl get pod

# 파라미터 파일 생성 : 서비스 모니터 방식으로 nginx 모니터링 대상을 등록하고, export 는 9113 포트 사용, nginx 웹서버 노출은 AWS CLB 기본 사용

cat <<EOT > ~/nginx_metric-values.yaml

metrics:

enabled: true

service:

port: 9113

serviceMonitor:

enabled: true

namespace: monitoring

interval: 10s

EOT

# 배포

helm upgrade nginx bitnami/nginx --reuse-values -f nginx_metric-values.yaml

echo "NGINX URL: http://nginx.masterseo1.link"

# 확인

kubectl get pod,svc,ep

kubectl get servicemonitor -n monitoring nginx

kubectl get servicemonitor -n monitoring nginx -o json | jq

3

# 메트릭 확인 >> 프로메테우스에서 Target 확인

NGINXIP=$(kubectl get pod -l app.kubernetes.io/instance=nginx -o jsonpath={.items[0].status.podIP})

curl -s http://$NGINXIP:9113/metrics # nginx_connections_active Y 값 확인해보기

curl -s http://$NGINXIP:9113/metrics | grep ^nginx_connections_active

(masterseo1:kube-system) [root@myeks-bastion-EC2 ~]# curl -s http://$NGINXIP:9113/metrics | grep ^nginx_connections_active

nginx_connections_active 1

# nginx 파드내에 컨테이너 갯수 확인

kubectl get pod -l app.kubernetes.io/instance=nginx

kubectl describe pod -l app.kubernetes.io/instance=nginx

(masterseo1:kube-system) [root@myeks-bastion-EC2 ~]# kubectl get pod -l app.kubernetes.io/instance=nginx

NAME READY STATUS RESTARTS AGE

nginx-85fc957979-4zv5h 2/2 Running 0 53s

# 접속 주소 확인 및 접속

echo -e "Nginx WebServer URL = https://nginx.$MyDomain"

curl -s https://nginx.$MyDomainkubectl logs deploy/nginx -f

# 반복 접속

while true; do curl -s https://nginx.$MyDomain -I | head -n 1; date; sleep 1; done

4

NGINX 애플리케이션 모니터링 대시보드 추가

그라파나에 12708 대시보드 추가

260 nginx.txt

<7> 그라파나 얼럿 Alert 기능

1

9.4 릴리즈

https://grafana.com/blog/2023/02/28/grafana-9.4-release/

2

이미지 알림 기능

https://grafana.com/docs/grafana/latest/alerting/manage-notifications/images-in-notifications/

3

얼럿기능

구성도?

https://grafana.com/docs/grafana/latest/alerting/

https://velog.io/@yyw1128/4

https://blog.naver.com/sungwon_200ok/223061416989

<8> kubecost

1

목표

kubecost로 컨테이너 비용에 대해 알아보자.

2

kubecost 개요

https://www.opencost.io/

penCost 링크를 기반으로 구축

쿠버네티스 리소스별 비용 분류 가시화 제공

https://www.kubecost.com/pricing/

가격

Free(메트릭 15일 보존

아키텍처

https://docs.kubecost.com/install-and-configure/install/provider-installations/aws-eks-cost-monitoring

수집

https://aws.amazon.com/ko/blogs/containers/aws-and-kubecost-collaborate-to-deliver-cost-monitoring-for-eks-customers/

3

설치와 접속

https://docs.kubecost.com/install-and-configure/install/provider-installations/aws-eks-cost-monitoring

https://github.com/kubecost/cost-analyzer-helm-chart/blob/develop/cost-analyzer/values-eks-cost-monitoring.yaml

https://gallery.ecr.aws/kubecost/cost-analyzer

ngress, service(nlb) 통한 접속은 실패 - 테스트 해보세요

bastion ec2를 통한 ssh port forwarding 통한 접속 방식으로 우회

https://docs.kubecost.com/install-and-configure/install/ingress-examples

https://catalog.workshops.aws/eks-immersionday/en-US/kubecost/configure-ingress

4

인그레스를 통한 접속

#

cat <<EOT > cost-values.yaml

global:

grafana:

enabled: true

proxy: false

priority:

enabled: false

networkPolicy:

enabled: false

podSecurityPolicy:

enabled: false

persistentVolume:

storageClass: "gp3"

prometheus:

kube-state-metrics:

disabled: false

nodeExporter:

enabled: true

reporting:

productAnalytics: true

EOT

# kubecost chart 에 프로메테우스가 포함되어 있으니, 기존 프로메테우스-스택은 삭제하자 : node-export 포트 충돌 발생

helm uninstall -n monitoring kube-prometheus-stack

# 배포

kubectl create ns kubecost

helm install kubecost oci://public.ecr.aws/kubecost/cost-analyzer --version 1.103.2 --namespace kubecost -f cost-values.yaml

# Ingress 설정

cat <<EOT > kubecost-ingress.yaml

apiVersion: networking.k8s.io/v1

kind: Ingress

metadata:

name: kubecost-ingress

annotations:

alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN

alb.ingress.kubernetes.io/group.name: study

alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'

alb.ingress.kubernetes.io/load-balancer-name: myeks-ingress-alb

alb.ingress.kubernetes.io/scheme: internet-facing

alb.ingress.kubernetes.io/ssl-redirect: "443"

alb.ingress.kubernetes.io/success-codes: 200-399

alb.ingress.kubernetes.io/target-type: ip

spec:

ingressClassName: alb

rules:

- host: kubecost.$MyDomain

http:

paths:

- backend:

service:

name: kubecost-cost-analyzer

port:

number: 9090

path: /

pathType: Prefix

EOT

kubectl apply -f kubecost-ingress.yaml -n kubecost

# 배포 확인

kubectl get-all -n kubecost

kubectl get all -n kubecost

# kubecost-cost-analyzer 접속 정보 확인

echo -e "Kubecost Web https://kubecost.$MyDomain"

100 cost-ingress.txt

(선택)

4

#

cat <<EOT > cost-values.yaml

global:

grafana:

enabled: true

proxy: false

priority:

enabled: false

networkPolicy:

enabled: false

podSecurityPolicy:

enabled: false

persistentVolume:

storageClass: "gp3"

prometheus:

kube-state-metrics:

disabled: false

nodeExporter:

enabled: true

reporting:

productAnalytics: true

EOT

# kubecost chart 에 프로메테우스가 포함되어 있으니, 기존 프로메테우스-스택은 삭제하자 : node-export 포트 충돌 발생

helm uninstall -n monitoring kube-prometheus-stack

# 배포

kubectl create ns kubecost

helm install kubecost oci://public.ecr.aws/kubecost/cost-analyzer --version 1.103.2 --namespace kubecost -f cost-values.yaml

# 배포 확인

kubectl get-all -n kubecost

kubectl get all -n kubecost

5

# kubecost-cost-analyzer 파드 IP변수 지정 및 접속 확인

CAIP=$(kubectl get pod -n kubecost -l app=cost-analyzer -o jsonpath={.items[0].status.podIP})

curl -s $CAIP:9090

6

# 외부에서 bastion EC2 접속하여 특정 파드 접속 방법 : socat(SOcket CAT) 활용 - 링크

yum -y install socat

socat TCP-LISTEN:80,fork TCP:$CAIP:9090

웹 브라우저에서 bastion EC2 IP로 접속

280 cost.txt

<9> 삭제

1

helm uninstall -n kube-system kube-ops-view

helm uninstall nginx

helm uninstall botkube --namespace botkube

helm uninstall -n monitoring kube-prometheus-stack

2

클러스터 삭제

eksctl delete cluster --name $CLUSTER_NAME && aws cloudformation delete-stack --stack-name $CLUSTER_NAME

(삭제 10분 걸린다. 시작 8분, 종료 18분 = 10분 걸림)

3

삭제

# EKS Control Plane 로깅(CloudWatch Logs) 비활성화

eksctl utils update-cluster-logging --cluster $CLUSTER_NAME --region $AWS_DEFAULT_REGION --disable-types all --approve

4

# 로그 그룹 삭제 : 컨트롤 플레인

aws logs delete-log-group --log-group-name /aws/eks/$CLUSTER_NAME/cluster

5

# 로그 그룹 삭제 : 데이터 플레인

aws logs delete-log-group --log-group-name /aws/containerinsights/$CLUSTER_NAME/application

aws logs delete-log-group --log-group-name /aws/containerinsights/$CLUSTER_NAME/dataplane

aws logs delete-log-group --log-group-name /aws/containerinsights/$CLUSTER_NAME/host

aws logs delete-log-group --log-group-name /aws/containerinsights/$CLUSTER_NAME/performance

290 delete.txt

다음

https://brunch.co.kr/@topasvga/3296

5주차-EKS Autoscaling1

https://brunch.co.kr/@topasvga/3217

<8> (몰아보기) EKS 8탄 -스터디 2023

감사합니다.