설치 매뉴얼
수집기 설정
아래와 같이 수집기를 추가하여 Apache Kafka 메시지 원본을 수신할 수 있습니다.
- Kafka 주소 목록: IP:포트 형식의 Apache Kafka 메시지 브로커 주소 목록을 쉼표로 구분하여 입력합니다.
- Kafka 토픽: Apache Kafka 토픽 이름을 입력합니다.
- Kafka 그룹 ID: Apache Kafka 컨슈머 그룹 ID를 입력합니다. 토픽의 메시지 부하를 분산하여 수신하려면 각 수집기에 동일한 ID를 입력합니다.
- 보안 프로토콜: 로그 전송 시 사용할 보안 프로토콜을 선택합니다. 기본값은 PLAINTEXT입니다.
- PLAINTEXT: 추가 설정이 필요하지 않습니다.
- SSL(서버인증): SSL Truststore 경로, 비밀번호, 형식을 입력해야 합니다. Kafka 서버 설정 파일(config/server.properties)에
ssl.client.auth=none옵션을 추가해야 합니다. - SSL(상호인증): SSL Truststore 및 Keystore의 경로, 비밀번호, 형식과 함께 SSL Key 비밀번호, SSL Endpoint 식별 알고리즘을 입력해야 합니다.
Logstash 연동
아래는 표준 입력된 내용을 plain 코덱을 사용하여 그대로 Apache Kafka의 test 토픽에 메시지를 적재하는 Logstash 설정의 예시입니다:
/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { kafka { codec => plain { format => "%{message}" } topic_id => "test" } }'
아래는 표준 입력된 내용을 json 코덱을 사용하여 Apache Kafka의 test 토픽에 JSON 포맷의 메시지를 적재하는 Logstash 설정의 예시입니다:
/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { kafka { codec => json { format => "%{message}" } topic_id => "test" } }'
Apache Kafka 스트림에 json 코덱으로 메시지를 적재하고 parsejson 명령어를 사용하여 파싱하면 손쉽게 구조화된 메시지를 수신하는 사용자 정의 수집 모델을 만들 수 있습니다.
