EKS 7탄-2. EKS 컨트롤 플레인 로깅 활성화
7탄 = 2/5
<1> CLI로 실습을 하기 위해 베스천 서버 연결
<2> EKS 컨트롤 플레인 활동에 대한 로깅 활성화
<3> aws iam 과 쿠버네티스 rbac 사용 클러스터액세스 확인.
<4> 서비스 어카운트 이용해 aws api 관리
<5> 네트워크 정책 적용 활성화!!!
<1> CLI로 실습을 하기 위해 베스천 서버 연결
putty 또는 세션 매니저로 접속
admin role을 베스천 서버에 권한 할당
<2> EKS 컨트롤 플레인 활동에 대한 로깅 활성화
1
eks API가 있는 컨트롤 플레인 로깅 확인?
콘솔에서 우선 확인
EKS > configuration > logging
디폴트로 5개 모두 기본 disabled 이다.
2
콘솔로도 활성화 가능하지만.. cli로 해보자~
클러스터와 리전 이름 변수로 저장
CLUSTER=$(aws eks list-clusters | jq -r .clusters[0]) && echo $CLUSTER
export AWS_REGION=ap-northeast-2
echo $AWS_REGION
3
컨트롤 플래인 감사 로깅 활성화
aws eks update-cluster-config 명령어로 업데이트 한다!!
상태 변경 업데이트를 변수로 지정
UPDATEID=$(aws eks update-cluster-config --region $AWS_REGION --name $CLUSTER --logging '{"clusterLogging":[{"types":["api","audit","authenticator","controllerManager","scheduler"],"enabled":true}]}' | jq -r '.update.id') && echo $UPDATEID
또는
aws eks update-cluster-config --region $AWS_REGION --name $CLUSTER --logging '{"clusterLogging":[{"types":["api","audit","authenticator","controllerManager","scheduler"],"enabled":true}]}'
4
적용 확인
aws eks describe-update --region $AWS_REGION --name $CLUSTER --update-id $UPDATEID
5
콘솔에서 확인
EKS > Observability
6
클라우드 와치 로그스에 로그가 남는다!
콘솔에가서 확인하자.
cloudwatch > logs > logs insights
select log groups - dev-cluster 선택
쿼리 편집기
(쿼리 입력)
쿼리 실행
확인?
참고
https://aws.amazon.com/ko/premiumsupport/knowledge-center/eks-get-control-plane-logs/
<3> aws iam 과 쿠버네티스 rbac 사용 클러스터액세스 확인.
1
IAM 그룹 및 역할을 생성하여 여러 팀의 EKS에 배포된 클러스터 및 노드에 액세스 할수 있도록 하여야 한다.
AWS IAM을 이용해 클러스터에 대한 자격증명을 인증한다음, 쿠버네티스 RBAC를 사용하여 리소스에 대한 권한부여를 제공하여 이를 달성하자.
IAM 역할을 쿠버네티스 그룹에 매핑하자.
AWS IAM역할을 쿠버네티스 역할기반 액세스 (RBAC)에 매핑하기
2
IAM 역할을 쿠버네티스 그룹에 매핑하자.
aws-auth ConfigMap의 세부정보를 보자.
map role등 내용 확인하자!!!!
kubectl describe configmap -n kube-system aws-auth
Name: aws-auth
Namespace: kube-system
Labels: <none>
Annotations: <none>
Data
====
mapRoles:
----
- groups:
- system:bootstrappers
- system:nodes
rolearn: arn:aws:iam::9126810:role/EksNodeRole
username: system:node:{{EC2PrivateDNSName}}
Events: <none>
sh-4.2$
EksNodeRole 역할을 system:bootstrappers , system:nodes 그룹에 매핑 하도록 되어 있다!!!
클러스터를 생성한 IAM 사용자 또는 역할은 aws-auth ConfigMAP에 포함되지 않는다.
전체 클러스터에 대한 숨겨진 관리자이며 변경할수 없다.
3
cat << EOF > web-namespace-role-rolebinding.yaml
내용 확인!
만들어 지는것?
web 네임스페이스
web 네임스페이스에 모든 리소스 액세스 권한을 부여하는 web-admins-role 역할
web-admin-role에 정의한 권한을 web-admin-group에 부여하는 web-admin-binding이라는 role binding.
cat << EOF > web-namespace-role-rolebinding.yaml
# Create a namespace named "web"
apiVersion: v1
kind: Namespace
metadata:
name: web
---
# Create a role named "web-admins-role" with
# full access to objects in the "web" namespace
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
name: web-admins-role
namespace: web
rules:
- apiGroups: ["*"]
resources: ["*"]
verbs: ["*"]
---
# Create a role binding named "web-admins-binding"
# to attach the "web-admins-role" role to the "web-admins" group
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
name: web-admins-binding
namespace: web
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: Role
name: web-admins-role
subjects:
- apiGroup: rbac.authorization.k8s.io
kind: Group
name: web-admins-group
EOF
생성은 어떻게?
kubectl apply -f web-namespace-role-rolebinding.yaml
namespace/web created
role.rbac.authorization.k8s.io/web-admins-role created
rolebinding.rbac.authorization.k8s.io/web-admins-binding created
4
aws-auth configmap을 업데이트해서 webadminrole iam 역할을 web-admin rbac 그룹에 매핑하자.
5
webadmin role에 대해 환경 변수 생성하자.
export WEB_ADMIN_ARN=$(aws iam list-roles | jq -r '.[] | .[] | .Arn' | grep -i web) && echo "The ARN for the WebAdminRole is" $WEB_ADMIN_ARN
The ARN for the WebAdminRole is arn:aws:iam::26810:role/WebAdminRole
6
iam 역할을 입력해 새 iam 역할을 aws-auth configmap 에 대한 rbac 그룹에 매칭해 추가하자.
사용자 웹 어디민 , 웹 어드민 그룹에 웹 어디민 롤 ???
eksctl create iamidentitymapping --cluster ${CLUSTER} --group web-admins-group --username web-admin --region ${AWS_REGION} --arn ${WEB_ADMIN_ARN}
sh-4.2$ eksctl create iamidentitymapping --cluster ${CLUSTER} --group web-admins-group --username web-admin --region us-west-2 --arn ${WEB_ADMIN_ARN}
2022-05-27 09:01:03 [ℹ] eksctl version 0.98.0
2022-05-27 09:01:03 [ℹ] using region us-west-2
2022-05-27 09:01:03 [ℹ] adding identity "arn:aws:iam::9126810:role/WebAdminRole" to auth ConfigMap
7
aws-auth configmap 정보는 어떻게 확인?
kubectl describe configmap -n kube-system aws-auth
sh-4.2$ kubectl describe configmap -n kube-system aws-auth
Name: aws-auth
Namespace: kube-system
Labels: <none>
Annotations: <none>
Data
====
mapRoles:
----
- groups:
- system:bootstrappers
- system:nodes
rolearn: arn:aws:iam::126810:role/EksNodeRole
username: system:node:{{EC2PrivateDNSName}}
- groups:
- web-admins-group
rolearn: arn:aws:iam::126810:role/WebAdminRole
username: web-admin
mapUsers:
----
[]
Events: <none>
8
현재 역할 확인은 ?
aws sts get-caller-identity
9
리소스 나열은?
kubectl get all
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 172.20.0.1 <none> 443/TCP 72m
10
config 백업
cp ~/.kube/config ~/.kube/config.back
11
config 업데이트
aws eks update-kubeconfig --name ${CLUSTER} --role-arn ${WEB_ADMIN_ARN} --alias web-admin --region ${AWS_REGION}
12
web 네임스페이스의 모든 리소스 나열?
kubectl get all -n web
No resources found in web namespace.
13
web 네임스페이스에 nginx 웹 서버 배포는??
kubectl create deployment nginx --image=nginx -n web
14
nginx deployment 를 인터넷에 노출하는 서비스 생성은?
네임스페이스는 web 네임스페이스에 하라.
kubectl expose deployment nginx --port=80 --name nginx --type=LoadBalancer -n web
15
서비스 도메인 이름 확인?
kubectl get service nginx -n web
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
nginx LoadBalancer 172.20.224.206 a23455e3b41064303b95725d90116892-1310555972.us-west-2.elb.amazonaws.com 80:30638/TCP 9s
kubectl get all
Error from server (Forbidden): pods is forbidden: User "web-admin" cannot list resource "pods" in API group "" in the namespace "default"
Error from server (Forbidden): replicationcontrollers is forbidden: User "web-admin" cannot list resource "replicationcontrollers" in API group "" in the namespace "default"
Error from server (Forbidden): services is forbidden: User "web-admin" cannot list resource "services" in API group "" in the namespace "default"
kubectl get all -n web
16
컨피그 파일 복원?
cp ~/.kube/config.back ~/.kube/config
kubectl get all
sh-4.2$ more ~/.kube/config.back
sh-4.2$ more ~/.kube/config
current-context: web-admin
백업으로 복원후 되는 이유??
sh-4.2$ kubectl get all
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 172.20.0.1 <none> 443/TCP 77m
<4> 서비스 어카운트 이용해 aws api 관리
서비스 어카운트로 API 엔세스를 제한하여 위험을 줄이자..
특정 사용자만 API 호출 할수 있도록 하자..
1
공급자 리스트 확인
aws iam list-open-id-connect-providers
sh-4.2$ aws iam list-open-id-connect-providers
{
"OpenIDConnectProviderList": [
{
"Arn": "arn:aws:iam::6810:oidc-provider/oidc.eks.us-west-2.amazonaws.com/id/CE7FBBF7806E04FCB454CA212863118A"
}
]
}
2
iam 롤과 쿠버네이스 서비스 어카운트 생성?
s3 읽는 권한만 가지자~~
eksctl create iamserviceaccount --name aws-s3-read --namespace default --cluster ${CLUSTER} --attach-policy-arn arn:aws:iam::aws:policy/AmazonS3ReadOnlyAccess --approve --region ${AWS_REGION}
3
콘솔가서
iam 가서 access management 가서 프로바이더를 확인한다.
만들어진 프로바이더가 있는지 보자.
iam > role 가서 eck -dev-cloud-addon-iamserveraccoutn 롤 확인
권한 확인?
s3 readonly만 있다.
트러스트 엔트리 확인하자!!!
4
새 컨테이서 생성, 컨테이너 들어가서 명령어 사용해보자~~
kubectl run my-shell --rm -i --tty --image amazonlinux --overrides='{ "spec": { "serviceAccount": "aws-s3-read" } }' -- bash
5
cli 설치?
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64-2.6.2.zip" -o "awscliv2.zip"
yum install unzip less groff -y
unzip awscliv2.zip
./aws/install
aws --version
현재 프로필 확인?
aws sts get-caller-identity
{
"UserId": "AROAZJWOLDSNAG7Y6DGC3:botocore-session-1653642883",
"Account": "126810",
"Arn": "arn:aws:sts::126810:assumed-role/eksctl-dev-cluster-addon-iamserviceaccount-d-Role1-SO0DBACHVZFW/botocore-session-1653642883"
}
6
s3 조회해 보자!!!!!!!
bash-4.2# aws s3 ls
2022-05-27 07:39:54 ql-cf-templates-1653637192-d3002831ecaab4f0-us-west-2
2022-05-27 07:40:03 qls-5818458-c6cfbf34c130879c-appbucket-1ewm37obvacu1
2022-05-27 07:39:58 qltrail-lab-14145-1653637195
aws s3 ls
7
리전 환경 변수 생성
export AWS_REGION=$(curl --silent http://169.254.169.254/latest/meta-data/placement/region)
8
echo $AWS_REGION
9
현재 리전 ec2 확인?
aws ec2 describe-instances --region ${AWS_REGION}
권한이 없다고 에러~
정상
s3 권한만 있음
exit
<5> 네트워크 정책 적용 활성화!!!
1
칼리코 데몬 세트 확인?
kubectl get daemonset calico-node --namespace kube-system
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
calico-node 3 3 3 3 3 beta.kubernetes.io/os=linux 71m
2
서비스 정보 확인?
kubectl get service nginx -n web
3
웹 접속 확인
4
웹서비스 네임 스페이스의 모든 객체에 대한 트래픽 거부?
kubectl apply -f deny-all-traffic.yaml
more 로 확인
sh-4.2$ more deny-all-traffic.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny
namespace: web
spec:
podSelector: {}
policyTypes:
- Ingress
- Egress
sh-4.2$
ingrgess, pod seletor 등 빠져 있어 모두 거부하는 것이다.
다른 브라우저에서 접속 확인?
안된다.
5
nginx 에 대해 허용 하는 정책?
kubectl apply -f allow-external-web-access.yaml
sh-4.2$ more allow-external-web-access.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: nginx-allow-external
namespace: web
spec:
podSelector:
matchLabels:
app: nginx
ingress:
- ports:
- port: 80
from: []
6
웹 브라우저 접속
잘됨!!
다음
https://brunch.co.kr/@topasvga/2470
몰아보기
https://brunch.co.kr/@topasvga/2468
감사합니다.
