#kafka

Kafka Consumer 를 이용할 때 2가지 방식이 있다. Subscribe vs Assign 두가지 방식에 대해서 어떤 차이점이 있는지 알아보자.

Produce Ack 설정에 대하여 Broker 에 Message 가 잘 전달되었는지 확인하는 작업을 뜻함.

spring-kafka 를 사용해서 consumer 를 구축할 때, 아래와 같이 원하는 객체(TestV1DTO)로 바로를 사용하기 위해 JsonDeserializer 를 선언할 경우 리팩토링할 때 주의해야할 점이 있습니다.

데이터 순서 보장하기 카프카 Topic 은 순서를 보장하지 않지만, Partition 내에서는 순서가 보장된다. Topic 의 Partition 을 1개, 컨슈머를 1개로 설정하면 순서는 보장 될...

무한 컨슘 및 재처리 기능 추가시 고려할 부분 계속해서 컨슘 발생 컨슈머에서 max.poll.interval.ms 가 지나도 poll() 이 발생하지 않을 경우, 해당 consumer 에 문제가...

Header 사용하기 https://kafka.apache.org/documentation/#record https://issues.apache.org/jira/browse/Kafka-Header%20%5Bb%5D payload 에 담기에는 애매한 데이터들을 추가할 때 사용하기 좋습니다. http header 와 같이! 예시) 2개의 Producer 에서 1개 Consumer 로...

데이터 저장 일시 Kafka 는 데이터를 디스크에 저장하고 보관기간을 설정 합니다. 보관기간을 설정할 때 사용할 데이터 사이즈도 고려해야할 대상이지만 아래와 같은 경우도 고려하면 좋다....

Data 가 1MB 초과 했을 때 프로듀싱할 데이터 사이즈가 1MB 를 초과할 경우 아래와 같은 에러가 발생.

자주 사용 하는 Kafka CLI 명령어 모음.

java에서 Kafka client 를 사용하여 producer와 consumer 를 간단하게 구현해보자.

로컬환경에서 간단하게 테스트할 목적으로 Single Broker 로 세팅할 경우 링크 를 확인해보자. 카프카 클러스터 관련해서 테스트 등을 진행하려고 Cluster 환경을 간단하게 구성하고, Kafka Manager를...

로컬 개발환경에서 사용할 목적으로 kafka를 docker로 설치하려고 한다. kafka는 zookeeper 를 같이 사용해줘야해서 docker-compose를 사용해야한다.