설치 매뉴얼
수집기 설정
아래와 같이 수집기를 추가하여 Apache Kafka 메시지 원본을 수신할 수 있습니다.
- Kafka 주소 목록: IP:포트 형식의 Apache Kafka 메시지 브로커 주소 목록을 쉼표로 구분하여 입력합니다.
- Kafka 토픽: Apache Kafka 토픽 이름을 입력합니다.
- Kafka 그룹 ID: Apache Kafka 컨슈머 그룹 ID를 입력합니다. 토픽의 메시지 부하를 분산하여 수신하려면 각 수집기에 동일한 ID를 입력합니다.
Logstash 연동
아래는 표준 입력된 내용을 plain 코덱을 사용하여 그대로 Apache Kafka의 test 토픽에 메시지를 적재하는 Logstash 설정의 예시입니다:
/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { kafka { codec => plain { format => "%{message}" } topic_id => "test" } }'
아래는 표준 입력된 내용을 json 코덱을 사용하여 Apache Kafka의 test 토픽에 JSON 포맷의 메시지를 적재하는 Logstash 설정의 예시입니다:
/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { kafka { codec => json { format => "%{message}" } topic_id => "test" } }'
Apache Kafka 스트림에 json 코덱으로 메시지를 적재하고 parsejson 명령어를 사용하여 파싱하면 손쉽게 구조화된 메시지를 수신하는 사용자 정의 수집 모델을 만들 수 있습니다.
