[ Splunk Cloud ] Splunk Cloud와 Heavy forwarder(Splunk Enterprise) 연결하기

🎠 스플렁크에 데이터를 수집하는 방법 2가지 🎠

   ◾️ Forwarder

            데이터를 전송하는데 최적화된 Splunk Enterprise instance

   ◾️ Input Data Manager(IDM)

            스크립트 및 모듈식 데이터를 전송하는데 최적화된 hosted solution

            Victoria Experience는 필요 없음

 

 

 

🎠 Forwarder Type 🎠

       포워더는 data가 생성되는 머신에서 바로 데이터를 수집할 때 사용한다.

   ◾️ Universal Forwarder

            파싱되지 않은 데이터만 전송가능하며 데이터 전송에 특화되어 있는 splunk version이다.

            무손실 데이터 수집을 위한 체크포인트 및 재시작 기능

            네트워크 대역폭 사용을 최소화하는 효율적인 프로토콜

            Throttling 가능

            사용 가능한 인덱서에 대한 기본 로드 밸런싱 제공

            SSL 또는 TLS를 사용하는 선택적 네트워크 암호화

            데이터 압축 (SSL, TLS 없이 사용)

            여러가지 수집 형태 제공(파일, windows 이벤트 로그, 네트워크 입력, 스크립트 입력)

            제한된 이벤트 필터링 가능(windows 이벤트 로그만)

            처리량을 늘리고 대기 시간을 줄이기 위한 병렬 수집 파이프라인 지원

 

유니버셜 포워더는 로그 소스를 이벤트로 파싱하지 않으므로 로그 형식화 기능이 필요한 작업을 수행할 수 없다. 또한 전체 Splunk 플랫폼이 작동해야 하는 모듈식 입력 앱과 호환되지 않는 간소화된 버전의  python과 함께 제공됨. 

 

출처: splunk documentation

   ◾️ Heavy Forwarder

            이벤트 기반의 데이터를 옮기기에 적합하며 메시지에 메타데이터를 포함하기 때문에 

            2, 3배 만큼의 네트워크 트래픽 데이터를 발생시킨다.

            데이터를 이벤트로 파싱

            헤비 포워더는 일반적으로 다른 Splunk Enterprise 기능을 수행하지 않음.

            디스크에 이벤트를 저장하거나 인덱싱 하지는 않지만 파싱은 함

            데이터를 마스킹하거나 이벤트 데이터를 기반으로 필터링 및 라우팅을 수행할 수 있다.

            개별 이벤트 데이터를 기반으로 한 필터 및 경로

            유니버셜 포워더보다 리소스 공간이 더 크다

            유니버셜 포워더 보다 네트워크 대역폭 공간이 크다.

            관리를 위한 GUI가 있다.

 

일반적으로 헤비 포워더에는 데이터 수집을 위해 엔트포인트에 설치되지 않고,

독립 실행형 시스템에서 데이터 수집 노드 또는 Intermediate forwarding tier를 구현하는 데 사용한다.

 

헤비포워더가 필요한 인스턴스

• Splunk Cloud Platform(DB 입력)으로 데이터를 수집하기 위해 RDBMS에서 데이터를 읽을 떄
• 클라우드 서비스, VMware 모니터링 및 독점 시스템과 같은 API를 사용하여 연결할 수 있는 시스템에서 데이터 수집
• HTTP 이벤트 수집기 서비스를 호스팅하기 위한 전용 계층 제공
• 라우팅, 필터링 및 마스킹을 위한 파싱 포워더가 필요한 Intermediate forwarding tier 구현

출처: splunk documentation

 

 

 

🎠 What is the Intermediate forwarding tier?🎠

헤비포워더 집합이며 다수의 다른 포워더에서 보낸 데이터가 모이는 곳이다.

intermediate forwarder에 데이터가 도착하면, 그 데이터는 Splunk Cloud Platform으로 전달된다.

이렇게 데이터를 전송하면, Splunk Cloud Platform이 인터넷 상에서 소통하는 host를 제한할 수 있다.

 

Intermediate tier에서 헤비 포워더를 사용하므로 Splunk Cloud Platform을 위해

데이터가 네트워크를 벗어나기 전에 데이터를 라우팅하거나 삭제할 수 있다.

 

Intermediate tier를 구현할 때 Splunk Cloud Platform 인덱서에 대한 Intermediate Forwarder의 비율을 2:1이상으로 유지하는 것이 좋다.

 

 

---

Splunk Cloud Platform에 포워더로 데이터를 보내려면,

사용하는 Cloud의 credential specific를 가진 app을 다운 받아서

그 forwarder credential app을 사용하고자 하는 UF, HF 및 deployer server에 설치 해야한다.

그러면 그 앱이 Splunk Cloud Platform과 연결할 수 있게 해준다.

---

 

 

 

그럼 이 과정을 어떻게 하는지 알아보자.

 

🐟 STEP 1 🐟 사용하는 Splunk Cloud의 Universal Forwarder 앱에 접속

 

 

🐟 STEP 2 🐟 Download Universal Forwarder Credentials 클릭

 

 

 

🐟 STEP 3 🐟 Heavy Forwarder로 사용하는 Splunk Enterprise에 로그인

 

 

 

 

🐟 STEP 4 🐟 앱의 관리 클릭

 

 

 

 

 

🐟 STEP 5 🐟 파일에서 앱 설치 클릭

 

 

 

 

🐟 STEP 6 🐟 파일 선택 후 업로드 클릭

 

 

 

🐟 STEP 7 🐟 다시 시작 

잘 들어와 있음

 

 

 

🐟 STEP 7 🐟 Cloud로 돌아가서 Index=_internal 검색

 

두 개의 host가 있는 것을 확인할 수 있다.

하나는 splunk cloud, 하나는 heavy forwarder로 사용하려하는 splunkenterprise

 

 

 

 

 

 

 

 

 

참고자료

https://lantern.splunk.com/Splunk_Platform/Product_Tips/Data_Management/Adding_a_heavy_forwarder_to_Splunk_Cloud_Platform

Adding a heavy forwarder to Splunk Cloud Platform