고승범

카프카 커넥트 오프셋 관리(2)

2024-11-12T13:05:30Z

지난 글에 이어 이번에는 카프카 커넥트 오프셋 관리 기능에 대해 설명하겠습니다. 혹시라도 1부 글을 읽지 않으신 분들은 1부 글과 이어지는 내용이 있으니, 1부 글을 먼저 읽고 오시는 편이 좋을 것 같습니다. 지난 글에서 소스 커넥터는 프로듀서와 유사하고, 싱크 커넥터는 컨슈머와 유사하다는 말씀을 드린 적이 있습니다. 이번에 주로 다룰 내용은 싱크 커넥터와

카프카 커넥트와 오프셋 관리(1)

2024-10-16T22:19:38Z

이번 글에서는 먼저 카프카 커넥트에 대해 간략한 소개를 하고, 3.5 버전부터 새롭게 추가된 카프카 커넥트 오프셋 관리 기능에 대해 소개하고자 합니다. 글은 총 2부로 나누어 작성하며, 먼저 1부에서는 카프카 커넥트가 무엇이고 동작 방식에 대해 간략하게 소개하고, 다음으로 이어지는 2부에서 카프카 커넥트 오프셋 관리 기능에 대해 소개하겠습니다. 카프카 커

KRaft에 대해(2)

2024-03-22T10:05:06Z

이번 글에서는 이전 글에 이어 KRaft의 구성 방법, 마이그레이션 전략, 릴리스 노트와 향후 계획에 대해 살펴보겠습니다. 아직 이전 글을 읽어보지 못한 분들은 이전 글을 먼저 읽어보시기를 추천드립니다. KRaft의 구성 전통적인 주키퍼 모드를 사용하면서 많은 사용자들이 느꼈던 불편함 중 하나는 바로 주키퍼와 카프카 서버를 별도로 운영해야 한다는 점이었습

KRaft에 대해(1)

2024-03-18T11:40:06Z

이번 글에서는 아파치 카프카(Apache Kafka)의 새로운 협의 프로토콜인 KRaft에 대해 다룰 예정입니다. 카프카를 사용하면서 초기에는 최신 버전의 릴리스를 추구했지만, 카프카가 점점 데이터 파이프라인의 중심이 되면서 보다 보수적으로 접근하게 되었습니다. 지금까지 KRaft에 대해 크게 고려하지 않았으나 이제는 KRaft에 대한 준비와 주키퍼 모드로

kcat(kafkacat) 소개

2022-07-22T02:54:26Z

kcat이란? kcat은 아파치 카프카를 위한 non-JVM기반의 프로듀서, 컨슈머 기능을 제공하는 도구입니다. 최초 이름은 kafkacat이었으나 2021년 8월에 kcat으로 리네임 되었습니다. 카프카에서 제공하는 kafka-console-producer, kafka-console-consumer라는 명령어도 있지만, kcat은 보다 파워풀한 기능 등을

간단한 카프카 환경 구성하기

2022-03-16T13:52:51Z

이미 많은 분들이 카프카를 능숙하게 다루고 계시지만, 여전히 카프카를 처음 접하는 분들도 많이 있을 것이라고 생각합니다. 카프카를 처음 접하는 분들 대부분 카프카의 기본 동작 또는 퀵 스타트 등의 문서 등을 검색하고 주의 깊게 읽어볼 것이라고 예상합니다. 이러한 글들을 읽고 나면, 카프카를 이해했다는 생각과 실습 환경을 직접 구성해보고 실습해보고자 하는 욕

카프카 서버 디스크 최적화

2020-02-13T00:35:51Z

이번 주제는 디스크와 관련된 주제로 글을 작성해보겠습니다. 디스크 구성과 관련된 질문들을 여러 차례 받은 경험도 있고, 이러한 주제를 가지고 정리된 글은 없다고 생각되어 적게 되었습니다. 디스크 구성에 대해 이러한 방식이 표준이다라는 정답은 없지만, 향후 규모가 큰 카프카 클러스터를 구성하거나 IO 때문에 고민이신 분들에게 조금이나마 도움이 되었으면 합니다

카프카 설치 시 가장 중요한 설정 4가지

2022-06-18T10:14:08Z

카프카 보안과 커버로스(Kerberos)를 이용해 구성하는 방법에 대해 다루는 글을 쓰려다가, 현재 제가 구성한 보안 클러스터 구성환경에 접속할 수도 없고 새로 구성하기도 어려운 상황이라, 평소 주위 분들에게 많은 질문을 받은 “빠르게 카프카 사용하기”라는 주제로 먼저 글을 써봐야겠다는 생각이 들었습니다. 이 내용은 생각보다는 매우 단순하고 쉽습니다. 이

카프카를 활용한 워크 큐

2019-12-31T00:12:02Z

정말 오랜만에 글을 쓰는 것 같습니다. 한번 쓰지 않기 시작하다 보니 이렇게까지 늘어졌네요;; 최근에 카프카 운영과 관련해 어드민 페이지 개선 작업을 했고, 워크 큐(work queue)로 카프카를 활용하여 프로세스를 개선한 과정과 느낀 점을 공유하고자 합니다. 배경 현재 전사 공용 카프카를 운영하면서, 필요한 어드민 페이지 일부는 제가 직접 만들어서 사

로컬 포트 부족과 TIME_WAIT

2022-07-25T07:37:21Z

이번 글은 카프카와 관련된 주제가 아닌 시스템 엔지니어로서 제가 담당하는 서비스에서 실제로 트러블슈팅했던 내용을 공유하고자 합니다. 이 글 중간에 나오는 TIME_WAIT이나 tw_reuse, tw_recycle에 대한 이야기는 제가 가진 지식보다 정리를 잘 해주신 분들이 있기 때문에 자세히 다루지 않고, 경험한 내용을 바탕으로 필요한 부분만 간략하게 설명

카프카 매니저 소개

2018-04-25T00:34:52Z

최근 운영하고 있던 카프카 매니저를 최신 버전으로 업그레이드를 진행하였고, 이번 글에는 카프카 매니저에 대해 공유하고자 합니다. 카프카에 대한 예전 글들도 있으니 필요하신 분들은 참고하시면 좋을 것 같습니다. 카프카 Quick Start 카프카 Consumer Group 카프카 Producer ACKS 카프카 LOG 카프카 Partition Reassign

카프카 Replication Factor 변경

2018-03-06T11:00:02Z

이번 글에서는 kafka에서 사용하는 토픽의 Replication Factor(이하 RF)를 변경하는 방법에 대해 설명하겠습니다. kafka에 대한 예전 글들도 있으니 필요하신 분들은 참고하시면 좋을 것 같습니다. 카프카 Quick Start 카프카 Consumer Group 카프카 Producer ACKS 카프카 LOG 카프카 Partition Reass

카프카 Replication

2017-07-19T12:21:51Z

이번 글에서는 kafka에서 사용하는 replication에 대해 알아보도록 하겠습니다. 예전부터 해당 내용에 대해 정리해서 글을 올리려고 했었는데, 생각보다 많이 늦어졌습니다. kafka에 대한 예전 글들도 있으니 참고하시면 좋을 것 같습니다. 카프카 Quick Start 카프카 Consumer Group 카프카 Producer ACKS 카프카 LOG 카

카프카 Partition Reassign

2019-06-05T06:16:25Z

이번에는 kafka 파티션 재배치에 대해 알아보고, log 디렉토리 사용이 균등하지 않을 때 조치할 수 있는 방법에 대해 말씀드리도록 하겠습니다. 해당 내용을 모를 경우 kafka 운영하시면서 난감한 상황에 마주칠 수 있다고 생각됩니다. 잘 읽어보시고 도움이 되셨으면 합니다. 이 글을 처음 보시는 분들은 이전 글도 보시면 좋을 것 같습니다. 카프카 Quic

카프카 LOG

2020-04-12T11:57:26Z

이번 글은 지난번 연재 글 내용과 이어지는 내용으로 producer acks 옵션과 관련이 있는 내용입니다. 제가 kafka를 운영하면서 실제 일어났던 이슈에 대해 kafka의 로그와 같이 한번 설명드리도록 하겠습니다. 지난 연재 글을 읽지 못하신 분이나 또는 읽었는데 기억이 잘 나지 않으신다면, 다시 한번 읽어보시는 편이 좋을 것 같습니다. 카프카 Qui

카프카 Producer ACKS

2017-03-26T10:17:29Z

지금까지 컨슈머 관련 설명과 컨슈머가 메시지를 가져오는 내용에 대한 설명을 이어왔습니다. 이번에는 메시지를 보내는 프로듀서에 대해 설명하도록 하겠습니다. 프로듀서가 메시지를 보낼 때, 몇 가지의 옵션들을 선택하여 보낼 수 있습니다. 프로듀서의 여러 가지 옵션들 중에서, 저는 가장 중요하고 꼭 이해를 해야 하는 옵션이 acks라고 생각합니다. 그래서, 이

카프카 Consumer Group

2023-05-20T19:40:04Z

지난 글에 이어서 이번에는 Consumer Group이라는 주제를 가지고 설명하려고 합니다. 이 내용 역시 제가 처음 카프카를 접했을 때, 정말 이해가 안 되고 어려웠던 부분이었습니다. 컨슈머 그룹에 대해 국내 자료들을 검색했었는데, 안타깝게도 제가 이해하는데 도움이 될만한 글을 찾지 못하였습니다. 그래서, 제가 카프카를 처음 접하시는 분들이 컨슈머 그룹에

카프카 Quick Start

2023-07-24T19:40:02Z

저는 국내 메신저 회사에서 우연한 기회로 전사 공용 카프카를 운영하고 있습니다. 현재 기준으로 제가 관리하는 카프카 클러스터는 용도와 종류에 따라 5종류로 구분되고, 전체 서버는 약 50여 대 됩니다. 이 수치는 지금도 계속 증가하고 있어 나중에는 더 늘어날 것 같습니다. 제가 글을 적는 이유는 카프카에 대해서 스터디하고 운영하면서 겪었던 일들 중에서,