Splunk (77) 썸네일형 리스트형 [Splunk] Cluster Master & Buckets 핵심 정리 1. Generations세대(Generation)클러스터 내 버킷 primary 복사본을 정의CM이 세대 ID를 부여피어는 자신이 primary인지 추적영향어떤 인덱서가 복제에 참여 가능한지어떤 인덱서가 검색 가능한지어떤 인덱서가 포워더 수신에 준비됐는지Search Head세대 기반으로 피어를 직접 고르지 않음모든 피어에 요청 → 인덱서가 primary 여부를 판단 후 응답2. Clustered Bucket 네이밍 규칙비클러스터hot_v1_db___클러스터 원본hot_v1_db____클러스터 복제본_rb____guid: 원본 인덱서의 고유 ID (etc/instance.cfg에 존재)데이터 유입 시:소스 인덱서 → hot bucket 생성 (originating copy)다른 인덱서(target pee.. [Splunk] 인덱서 클러스터(Indexer Clustering) 1. 인덱서 클러스터란?인덱서 클러스터: 여러 대의 인덱서(indexer)를 그룹으로 묶어 데이터 복제와 장애 대응을 가능하게 하는 구조주요 특징:데이터 중복 저장(Replication) → 데이터 손실 방지자동 장애 조치(Failover) → 인덱서 다운 시에도 검색 가능멀티 사이트 지원 → 데이터 센터 전체 장애에도 대비 가능👉 쉽게 말해, “데이터 안전망”을 제공하는 기능2. 인덱서 클러스터의 주요 개념① Replication Factor (RF)클러스터 내에서 데이터 복사본을 몇 개 유지할지 결정예: RF=3 → 모든 데이터는 3개의 인덱서에 저장② Search Factor (SF)검색 가능한 데이터 복제본의 개수SF가 높을수록 장애 복구 속도가 빨라지지만, 더 많은 저장소가 필요💡 운영 팁:.. [ Splunk ] Indexing Internals 1. 세그멘테이션 (Segmentation)목적: 이벤트를 잘게 쪼개 검색 가능한 단위(세그먼트)로 만드는 것.종류Major Segmenter → 문장을 큰 단어 단위로 나눔예: 공백, 괄호, 특수문자 기준"Michael likes pizza" → Michael, likes, pizzaMinor Segmenter → Major로 나눈 단어를 더 세부적으로 쪼갬예: 이메일 주소 → abc@gmail.com → abc, gmail, com즉, 검색 시 더 다양한 키워드 매칭이 가능해짐👉 인덱싱 시점 & 검색 시점 모두 세그멘테이션이 적용된다.인덱싱 시점: 디스크에 저장되는 형태 결정 (속도·용량·자동완성에 영향)검색 시점: 쿼리 실행 속도와 결과의 정밀도에 영향2. TSIDX (Time Series Ind.. [ Splunk ] Event Processing 1. 이벤트 처리란?Splunk는 들어온 데이터를 이벤트(event) 단위로 쪼개고, 이를 인덱스에 저장한다.이벤트 = 머신 데이터 속에서 발견되는 활동 기록이벤트 인덱싱 단계문자 인코딩 처리 (UTF-8 변환 시도)멀티라인 이벤트 줄 구분(Line Breaking)타임스탬프 식별 및 적용표준 필드(host, source, sourcetype) 추출이벤트 분리(Segmentation)2. 데이터 파이프라인 구조데이터는 인덱서(Indexer)에 들어와 여러 파이프라인 단계를 거친다.크게 두 단계:Parsing (이벤트 분리)Indexing (최종 저장/전송)주요 파이프라인Parsing Pipeline: 데이터 청크(10KB 단위)를 이벤트로 나눔Indexing Pipeline: 이벤트를 최종적으로 저장하거.. [ Splunk ] 버킷 매니페스트(manifest) 1. 기본 개념버킷(bucket): Splunk나 보안 로그 수집 환경에서 데이터를 저장하는 단위(예: S3 버킷, HDFS 디렉토리).매니페스트(manifest): 해당 버킷에 포함된 로그 파일들의 목록과 메타데이터를 정리해둔 인덱스 문서.즉, 매니페스트는 “이 시간대/이 경로에는 이런 로그 파일들이 있으며, 파일 크기와 체크섬은 이렇다” 같은 정보2. 왜 필요한가?보안 로그 파이프라인은 보통 수백 GB~수 TB 단위로 데이터가 쌓입니다.이때 버킷 매니페스트가 없으면 Splunk나 ETL(Job)에서 매번 전체 스토리지를 스캔해야 해서 성능이 크게 떨어집니다.따라서 매니페스트는 다음과 같은 이점을 줍니다:빠른 인덱싱: 어떤 파일을 수집해야 할지 즉시 알 수 있음.데이터 무결성 확인: 체크섬(SHA256.. [Splunk] LDAP 연동 이해하기 🌳 LDAP 기본 구조LDAP(Lightweight Directory Access Protocol)은 말 그대로 디렉터리 서비스에 접근하기 위한 프로토콜이다.디렉터리(Directory):조직의 사용자, 그룹, 자원 정보를 트리 구조로 저장하는 데이터 저장소대표 구현체:OpenLDAP (오픈소스)Microsoft Active Directory (가장 흔하게 사용됨) 🧩 트리 구조 예시 dc=splunk,dc=com ├─ ou=groups │ ├─ cn=admins │ ├─ cn=powerusers │ └─ cn=users └─ ou=people ├─ cn=admin1 ├─ cn=power1 └─ cn=user1 DC (Domain Component): 도메인 이름 (예.. [Splunk] 기본 제공 소스타입과 INDEXED_EXTRACTIONS 활용법 1. 사전 학습된 소스타입 (Pretrained Sourcetypes)Splunk에는 미리 정의된 소스타입들이 있음props.conf에 사전 정의되어 있으며, Splunk가 어떻게 인덱싱하고 파싱해야 하는지 이미 알고 있는 포맷정의 위치:$SPLUNK_HOME/etc/system/default/props.conf 사용 방법:데이터가 해당 포맷과 일치한다면, 그대로 소스타입을 지정해주는 것이 모범 사례자동 인식되지 않으면 Splunk Web이나 inputs.conf에서 직접 지정대표 소스타입 예시access_combined → NCSA combined 형식 HTTP 로그apache_error → Apache 웹 서버 에러 로그cisco_syslog → Cisco 장비 syslogwebsphere_core .. [Splunk] 네트워크 입력 (Network Inputs) 완벽 가이드 HTTP Event Collector (HEC)HEC는 토큰 기반 인증을 사용하는 HTTP 입력 방식보안성, 확장성, 그리고 Forwarder 없이도 이벤트를 전송 가능HEC 특징Agentless 지원 → Forwarder 없이도 데이터 수집 가능다양한 소스 지원 → 브라우저, 자동화 스크립트, 모바일 앱 등대표 활용 사례collectd 메트릭 수집AWS Kinesis Firehose 연동컨테이너 기반 애플리케이션 로그 전송예시 설정 (inputs.conf) [http://name]token = disabled = 0description = "HEC input"sslVersions = tls1.2cipherSuite = listenOnIPv6 = yes 📌 참고: inputs.conf는 반드시 $SPL.. 이전 1 2 3 4 ··· 10 다음