kafka

Kafka Consumer 를 이용할 때 2가지 방식이 있다. Subscribe vs Assign 두가지 방식에 대해서 어떤 차이점이 있는지 알아보자.

Produce Ack 설정에 대하여 Broker 에 Message 가 잘 전달되었는지 확인하는 작업을 뜻함.

spring-kafka 를 사용해서 consumer 를 구축할 때, 아래와 같이 원하는 객체(TestV1DTO)로 바로를 사용하기 위해 JsonDeserializer 를 선언할 경우 리팩토링할 때 주의해야할 점이 있습니다.

데이터 순서 보장하기 카프카 Topic 은 순서를 보장하지 않지만, Partition 내에서는 순서가 보장된다. Topic 의 Partition 을 1개, 컨슈머를 1개로 설정하면 순서는 보장 될...

무한 컨슘 및 재처리 기능 추가시 고려할 부분 계속해서 컨슘 발생 컨슈머에서 max.poll.interval.ms 가 지나도 poll() 이 발생하지 않을 경우, 해당 consumer 에 문제가...

Header 사용하기 https://kafka.apache.org/documentation/#record https://issues.apache.org/jira/browse/Kafka-Header%20%5Bb%5D payload 에 담기에는 애매한 데이터들을 추가할 때 사용하기 좋습니다. http header 와 같이! 예시) 2개의 Producer 에서 1개 Consumer 로...

데이터 저장 일시 Kafka 는 데이터를 디스크에 저장하고 보관기간을 설정 합니다. 보관기간을 설정할 때 사용할 데이터 사이즈도 고려해야할 대상이지만 아래와 같은 경우도 고려하면 좋다....

Data 가 1MB 초과 했을 때 프로듀싱할 데이터 사이즈가 1MB 를 초과할 경우 아래와 같은 에러가 발생.

자주 사용 하는 Kafka CLI 명령어 모음.