Security/ELK

[ELK] 파이썬으로 엘라스틱서치 다루기

1. 파이썬 설치 sudo apt-get upgrade python3 apt install python3 apt install python3-pip pip3 insatll elasticsearch //엘라스틱서비스 접근하기 mkdir /var/mail/elasticsearch from elasticsearch import Elasticsearch es = Elasticsearch(["http://127.0.0.1:9200:"]) 2. 파이썬 elasticsearch 함수 기능 es.* : API 기능 예) es.cat, es.upsdate index : 데이터 삽입 get : 데이터 조회 search : 데이터 검색 3. cat API를 활용해 인덱스 리스트 확인 from elasticeasrch imp..

[ELK] Logstash/Filebeat

1. 로그스태시 개요 오픈 소스 서버측 데이터 처리로 파이프 라인 다양한 소스에서 동시에 데이터를 수집하여 변환 그 다음 자주 사용하는 엘라스틱서치에 전달 로그스태시 파이프라인 로그스태시의 필터 Input : Logstash로 데이터를 가져옴 file : UNIX 명령 tail -0F와 비슷하게 파일 시스템의 파일에서 읽음 syslog : RFC3164 형식에 따라 syslog 메시지 및 구문 분석을 위해 잘 알려진 포트 514를 수신 redis : redis 채널과 redis 목록을 모두 사용하여 redis 서버에서 읽음 beat : Filebeat에서 보낸 이벤트를 처리 Filter : Logstash 파이프 라인의 중간 처리 장치 grok : 임의의 텍스트를 구성, 현재 구조화되지 않은 로그 데이터..

[ELK] Kibana를 활용한 시각화

1. locaslhost:5601 kibana는 포트 5601을 통해 액세스하는 웹 응용프로그램 Kibana에 액세스하면 검색 페이지가 기본적으로 로드된다. localhost:5601 /status - kibana 서버의 상태 페이지에 접근 ➜ 상태 페이지는 서버의 자원 사용에 대한 정보를 표시 ➜ 설치된 플러그인을 나열 2. Index 패턴 정의하기 elasticsearch에 로그된 각 데이터 세트에는 인덱스 패턴이 존재한다. 시계열 데이터가 포함된 데이터 세트는 시간 기반 이벤트가 포함되어 있는지 확인이 필요하다. 3. 키바나 메뉴 Reference 🔗 IT인을 위한 ELK 통합로그시스템 구축과 활용

[ELK] Elasticsearch CRUD

1. Elasticsearch의 핵심 개념 NRT(Near Realtime) - Elasticsearch는 거의 실시간 검색 플랫폼임 - 문서를 색인할 때부터 검색 기능까지 대기 시간이 매우 짧음(일반적으로 1초) 클러스터 - 전체 데이터를 함께 보유하고 모든 노드에서 연합 인덱싱 및 검색 기능을 제공하는 하나 이상의 노드 모음 - 클러스터는 기본적으로 elasticsearch 라는 고유한 이름으로 식별 노드 - 노드는 클러스터의 일부이며 데이터를 저장하고 클러스터의 인덱싱 및 검색 기능에 참여하는 단일 서버 - 단일 클러스터에서 우너하는 만큼의 노드를 소유 가능 색인(Index) - 색인은 다소 유사한 특성을 갖는 문서의 콜렉션 Type - 사용자가 하나의 유형, 블로그 게시물을 다른 유형과 같이 여러..

[ELK] ELK 개요와 설치

IT인을 위한 ELK 통합로그시스템 구축과 활용 - 인프런 | 강의 ELK를 활용하여 통합로그 분석 구축을 실습을 통해 한단계씩 이해할 수 있으며, 각 시스템의 로그를 통합하여 시각화할 수 있는 방법을 제시합니다. 일반 데이터 분석의 활용, 침해사고 분석 대 www.inflearn.com 👆 위 강의를 수강하고 정리한 내용입니다. 1. ELK 소개 Elasticsearch, Kibana, Beats, Logstash = ELK Stack 모든 형식의 모든 소스에서 안정적이게 수집 수집한 데이터를 실시간으로 검색, 분석, 시각화 2. ELK Stack 설치 ubuntu@ubuntu:~$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticse..