Splunk/Splunk Project (37) 썸네일형 리스트형 데이터 수집 | 최종 Python 수집기 코드 정리 (raw socket + dedup + buffering) 이전 글(https://authentic-information.tistory.com/214)에서 확인한 것처럼,현재 수집 환경은 일반적인 syslog 수신 서버 구조가 아니라 TAP(미러링) 기반 패킷 수집 구조이다. 즉, 내 서버가 syslog를 직접 수신하는 대상이 아니라,다른 목적지로 향하는 syslog 패킷을 복제해서 관찰하는 구조이기 때문에 일반 UDP socket 방식으로는 수집이 불가능하다. 따라서 최종 수집 구조는 아래와 같이 정리했다.TAP 미러링 트래픽 → raw socket(AF_PACKET) → IPv4/UDP/syslog 패킷 파싱 → 동일 메시지 dedup → 버퍼링 후 파일 저장 → Splunk file monitor 수집 이번 글에서는 실제 운영 가능한 형태의 Python 수.. 데이터 수집 | TAP 미러링 환경에서 Python raw socket으로 syslog 수집 시 중복 발생 원인 분석 및 해결 지난 게시글(https://authentic-information.tistory.com/213)에서 TAP(미러링) 환경에서 Python을 이용해 syslog 데이터를 수집하는 구조를 구현했다.당시에는 raw socket(AF_PACKET)을 사용해 미러링된 트래픽을 직접 수집하고, 이를 파일로 저장한 뒤 Splunk에서 모니터링하는 방식으로 구성했다. 초기 테스트에서는 정상적으로 데이터가 수집되는 것처럼 보였지만, 실제 운영 데이터를 확인하는 과정에서 예상치 못한 문제가 발생했다. 바로 동일한 syslog 이벤트가 여러 번 중복 저장되는 현상이었다.처음에는 Splunk 파싱 문제나 sourcetype 분기 로직에서의 오류를 의심했지만, 확인을 거듭할수록 문제는 Splunk가 아니라 Python 수집 단.. 데이터 수집 | TAP(미러링) 환경에서 syslog 수집 안될 때 해결 방법 (tcpdump → Python RAW Socket까지) 이번 작업은 TAP 방식으로 미러링된 트래픽을 받아서,그 안에 포함된 UDP 514 syslog 메시지를 추출하고, 원본 장비 IP 기준으로 파일에 저장하는 구조를 만드는 과정이었다. 처음에는 단순히 syslog-ng가 받아줄 것이라고 생각했지만,실제로는 미러링된 패킷은 애플리케이션 소켓 레벨로 자연스럽게 올라오지 않기 때문에 syslog-ng가 반응하지 않았다. 이후 tcpdump 기반 접근, Python 파싱, RAW socket 방식까지 단계적으로 시도했고,최종적으로는 Python에서 AF_PACKET RAW socket으로 직접 패킷을 읽어 UDP payload를 복원하는 방식으로 해결했다.1. 작업 환경수집 서버: Linux 서버 (Splunk POC 서버)인터페이스: eno2트래픽 입력 방식:.. Splunk Project | Ollama / AITK 모델 연동 시 발생하는 원인 박멸하기 이전 글에서는 아래 이슈를 해결했다.Splunk Project | Ollama / AITK 모델 연결 문제 해결 과정 정리해당 글에서는 Ollama 모델 사용 시 답변 속도가 비정상적으로 느렸고,모니터링 결과 GPU 사용률이 전혀 오르지 않던 문제를 다뤘다.단순히 “느리다” 수준의 현상이 아니라, 실제로는 모델이 GPU가 아니라 CPU에서 추론되고 있었고,그 결과 Splunk의 | ai 명령 실행 시 응답 지연과 실패가 발생하고 있었다. 당시에는 hf.co 모델 호출 방식, Ollama 내부 저장 구조, systemd 환경, GPU 미사용 이슈까지 하나씩 점검하면서 결국 문제를 해결했다. 그리고 실제로 수정 후에는 GPU 메모리 사용량과 GPU Util이 즉시 상승하는 것도 확인했다.그런데 여기서 한 가.. Splunk Project | Ollama / AITK 모델 연결 문제 해결 과정 정리 Ollama 모델 사용 시, 답변이 느려 모니터링 해보니 GPU 사용률이 전혀 상승하지 않음특히 hf.co 모델 호출 방식, Ollama 내부 저장 구조, systemd 환경, GPU 미사용 이슈까지 포함한 실제 트러블슈팅 내용을 정리한다. 1. 문제 상황Ollama 모델 실행 시 hf.co 경로 오류 발생AITK / Splunk에서는 연결되지만 일부 ai command 실패응답 속도가 비정상적으로 느림 (200초 이상)GPU를 사용하는 것 같지 않음Error: No model found under service 'hf.co'# SPLindex=_internal sourcetype=mlspl source=/opt/splunk/var/log/splunk/mlspl.log command=ai# 결과17761.. Splunk Project | Splunk + Ollama + LLM 연동 구축 가이드 (실전 PoC 기준) Splunk 환경에서 로컬 LLM(Ollama)을 활용하여 보안 분석 자동화를 구성하는 전체 과정을 정리한 글이다.📌 전체 구성 요약Ollama → Host 설치 (GPU 직접 사용)모델 → Foundation-Sec-8B Q4 GGUFSplunk → AITK 연동Open WebUI → Docker (선택)🔥 Phase 1 — Ollama + 모델 실행1️⃣ Ollama 설치 zstd 패키지 필요 dnf install -y zstd# Ollama를 자동으로 설치하는 원라인 명령어curl -fsSL https://ollama.com/install.sh | sh ✔ 설치 확인 및 서비스 등록# 설치 확인ollama --version# 부팅 시 자동 실행 등록systemctl enable ollama# .. Splunk Project | Splunk 서버에 Ollama 연동 시, 아키텍처 선택 이유 Splunk 기반 보안 분석 환경에 로컬 LLM을 붙이는 작업을 진행하다 보면,단순히 “모델이 돌아간다”와 “실제로 운영 가능한 구조다”는 전혀 다른 문제라는 걸 금방 느끼게 된다. 이번 글에서는 제가 실제로 검토한 구조를 기준으로왜 Ollama는 Host에 설치하고Open WebUI와 DSDL은 Docker로 분리하는지그리고 왜 Foundation-Sec-8B의 Q4 GGUF 모델을 선택했는지를 정리해봤다.1. 최종 권장 아키텍처테스트 서버 OS 상황은 아래와 같다 현재 기준으로 가장 현실적인 권장 구조는 아래와 같다.[ Splunk (Host) ] └─ Search / Dashboard / Alert / AITK / Script ↓[ Ollama (Host) ] └─ m.. Splunk | Foundation-Sec-8B 모델 구조와 선택 가이드 (Ollama 기반) Ollama로 Foundation-Sec-8B 모델을 사용하려고 보면,모델 이름 뒤에 다양한 태그가 붙어 있어서 처음에는 조금 헷갈릴 수 있다. 예를 들어 instruct, reasoning, q4, q5 같은 옵션이 보이는데,이걸 이해해야 현재 서버 환경에 맞는 모델을 제대로 선택할 수 있다. 이번 글에서는 Foundation-Sec-8B 모델 태그 구조와 어떤 조합을 선택하는 것이 좋은지를 한 번 정리해보자.최근 온프레미스 환경에서 LLM을 활용하려는 경우, 보안 특화 모델인 Foundation-Sec-8B를 많이 고려하게 된다.특히 Splunk, AITK, 보안 로그 분석 PoC 환경에서는외부 API가 아닌 로컬 LLM이 필요한 경우가 많기 때문에 이 모델이 현실적인 선택지로 특히 많이 고려한다. .. 이전 1 2 3 4 5 다음
