Apache Kafka

다운로드 14
업데이트 2024. 2. 21.

설치 매뉴얼

수집기 설정

아래와 같이 수집기를 추가하여 Apache Kafka 메시지 원본을 수신할 수 있습니다.

Apache Kafka 수집기 설정

  • Kafka 주소 목록: IP:포트 형식의 Apache Kafka 메시지 브로커 주소 목록을 쉼표로 구분하여 입력합니다.
  • Kafka 토픽: Apache Kafka 토픽 이름을 입력합니다.
  • Kafka 그룹 ID: Apache Kafka 컨슈머 그룹 ID를 입력합니다. 토픽의 메시지 부하를 분산하여 수신하려면 각 수집기에 동일한 ID를 입력합니다.

Logstash 연동

아래는 표준 입력된 내용을 plain 코덱을 사용하여 그대로 Apache Kafka의 test 토픽에 메시지를 적재하는 Logstash 설정의 예시입니다:

/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { kafka { codec => plain { format => "%{message}" } topic_id => "test" } }'

아래는 표준 입력된 내용을 json 코덱을 사용하여 Apache Kafka의 test 토픽에 JSON 포맷의 메시지를 적재하는 Logstash 설정의 예시입니다:

/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { kafka { codec => json { format => "%{message}" } topic_id => "test" } }'

Apache Kafka 스트림에 json 코덱으로 메시지를 적재하고 parsejson 명령어를 사용하여 파싱하면 손쉽게 구조화된 메시지를 수신하는 사용자 정의 수집 모델을 만들 수 있습니다.

Apache Kafka 기반 수집 모델 생성