Kafka CLI 사용하기

07 May 2020 kafka

  • 자주 사용 하는 Kafka CLI 명령어 모음.

Kafka 실행관련

실행하기

bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties

종료하기

bin/kafka-server-stop.sh config/server.properties
bin/zookeeper-server-stop.sh config/zookeeper.properties

topic 관련

  • ./bin/kafka-topics.sh 파일로 처리

topic 목록 보기

bin/kafka-topics.sh \
    --bootstrap-server localhost:9092 \
    --list

topic 정보보기

  • topic 파티션별 리더 정보 등을 볼 수 있음.
bin/kafka-topics.sh \
    --bootstrap-server localhost:9092 \
    --topic my_topic \
    --describe

topic 생성하기

bin/kafka-topics.sh \
    --bootstrap-server localhost:9092 \
    --replication-factor 1 \
    --partitions 1 \
    --topic my_topic \
    --create

topic 제거하기

bin/kafka-topics.sh \
    --bootstrap-server localhost:9092 \
    --topic my_topic \
    --delete

Producer 관련

  • 특정 topic 내에 produce 하기
  • 아래 명령어를 입력한 다음 메시지를 입력하면 전송 된다.
bin/kafka-console-producer.sh \
    –-broker-list localhost:9092 \
    –-topic my_topic

Consumer 관련

Consumer group 목록보기

bin/kafka-consumer-groups.sh \
    --bootstrap-server localhost:9092 \
    --list

consumer group status

  • 토픽별 offset 정보 등을 알 수 있음.
bin/kafka-consumer-groups.sh \
    --bootstrap-server localhost:9092 \
    --group my_group_name \
    --describe

Consumer group 제거하기

bin/kafka-consumer-groups.sh \
    --bootstrap-server localhost:9092 \
    --group my_group_name \
    --delete

topic Consume 해보기

bin/kafka-console-consumer.sh \
    --bootstrap-server localhost:9092 \
    --from-beginning \
    --topic my_topic
특정 파티션만 Consume 하기
  • --partition 1 추가
bin/kafka-console-consumer.sh \
    --bootstrap-server localhost:9092 \
    --from-beginning \
    --partition 1 \
    --topic my_topic
특정 consumer group 으로 consume 하기
  • --group group_name 을 추가
bin/kafka-console-consumer.sh \
    --bootstrap-server localhost:9092 \
    --from-beginning \
    --group group_name \
    --topic my_topic

Related Posts