[ELK] Logstash/Filebeat

 1. 로그스태시 개요 

• 오픈 소스 서버측 데이터 처리로 파이프 라인 
• 다양한 소스에서 동시에 데이터를 수집하여 변환 
• 그 다음 자주 사용하는 엘라스틱서치에 전달 
• 로그스태시 파이프라인 

• 로그스태시의 필터 

• Input : Logstash로 데이터를 가져옴 
  • file : UNIX 명령 tail -0F와 비슷하게 파일 시스템의 파일에서 읽음 
  • syslog : RFC3164 형식에 따라 syslog 메시지 및 구문 분석을 위해 잘 알려진 포트 514를 수신 
  • redis : redis 채널과 redis 목록을 모두 사용하여 redis 서버에서 읽음 
  • beat : Filebeat에서 보낸 이벤트를 처리 
• Filter : Logstash 파이프 라인의 중간 처리 장치 
  • grok : 임의의 텍스트를 구성, 현재 구조화되지 않은 로그 데이터 구문 분석 
  • mutate : 이벤트 필드의 데이터 수정 및 제거 
  • drop : 이벤트를 완전히 삭제 
  • clone : 이벤트를 복사 
  • geoip : IP 주소의 지리적 위치에 대한 정보를 추가
• input : file 
  • https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html
  • 파일에 추가되는 내용을 계속 탐지하나 선택적으로 읽어들임 
  • 파일 입력 예제 

    

• input : beats
  
  • 파일비트와 연동하여 사용 
  • 파일비트를 통해서 로그를 받기 위해 5044 서버를 열어대기

    

• filter : grok 
  • https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html
  • 이벤트를 원하는 형식으로 로그 저장 
  • 원하는 형식

    

  • grok 설정

    

• filter : geoip 
  • https://www.elastic.co/guide/en/logstash/current/plugins-filters-geoip.html
  • 이벤트의 일부를 geoip로 활용할 수 있도록 변환

    

• output : elasticsearch 
  • https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
  • HTTP 프로토콜만 사용 
  • hosts: 엘라스틱서치 서버 IP
  • manage_tamplet : 인덱스 이름으로 정의하고 기본적인 매핑을 지원, 이 사용 옵션 여부를 true, false로 전달 (기본값 : true)
  • index : 인덱스 이름 지정

    

 

2. 파일 비트 

• https://www.elastic.co/kr/beats/filebeat

Filebeat: 경량 로그 분석과 Elasticsearch

• 일반적인 형식의 로그 데이터들을 수집, 파일 그리고 시각화를 단일 명령 사용 가능 
• 가능한 내부 모듈(Apache, NGINX, System 및 MySQL) 제공 

 

---

Reference

🔗 IT인을 위한 ELK 통합로그시스템 구축과 활용