[ Splunk Basic ] Forwarder: 역할, 유형 및 유형 별 특징

🌞 Forwarder

forwarder

 

    데이터를 수집하여 전달 작업을 수행하는 Splunk 인스턴스를 말한다.

    하나의 splunk enterprise 인스턴스에서 다른 splunk enterprise  인스턴스나

    Splunk가 아닌 시스템에도 데이터를 전달할 수 있다.

    포워더에서는 데이터를 인덱스별로 전달하고 라우팅한다.

    기본적으로 모든 외부 데이터와 _audit  내부 인덱스용 데이터를 전달

    필요에 따라 _internal 내부 인덱스용 데이터를 전달하기도 함

 

 

🌞 Forwarder의 유형

• Universal Forwarder (유니버설 포워더)
  데이터를 전달하는 데 필요한 구성요소만 있음

 

• Heavy Forwarder (헤비 포워더)
  데이터를 전달함으로 물론 인덱싱, 검색, 변경할 수도 있는 전체 Splunk  Enterprise 인스턴스
  헤비 포워더의 일부 기능은 시스템 리소스 사용량을 줄이기 위해 비활성화 되어 있음

 

• Light Forwarder (라이트 포워더)
  전체 Splunk Enterprise 인스턴스, 더 많은 기능을 비활성화하여 리소스 사용량을 최대한 줄임
  BUT Splunk Enterprise 6.0 버전부터 지원이 중단되었습니다.
  (유니버설 포워더가 대체함)

 

🌱 Universal Forwarder

 

Universal Forwarder

• 유일한 목적
  데이터를 전달하는 것

 

• 할 수 없는 것
  • 데이터를 검색 또는 인덱싱하거나 데이터로 경고를 만들 수 없음
  • 특정한 제한적인 상황을 제외하고 데이터를 파싱하지 않음
  • 컨텐츠에 따라 각기 다른 Splunk 인덱서에 데이터를 라우팅하기 위해 유니버설 포워더를 사용할 수는 없음
  • python 번들 버전이 없음

 

• 할 수 있는 것
  • 다양한 입력 정보에서 데이터를 가져오고 인덱싱 및 검색을 위해 Splunk 배포 환경에 데이터를 전달할 수 있음
  • 데이터를 인덱서로 보내기 전에 중간 단계로서 해당 데이터를 다른 포워더로 전달할 수도 있음

 

 

 

🌱 Heavy Forwarder

 

Heavy Forwarder

 

• 사용 이유
  • 데이터를 전달하기 전에 분석 또는 변경해야 하는 경우
  • 데이터의 내용에 따라 데이터 전달 대상을 제어해야 하는 경우
• 특징
  • 특정 기능을 사용할 수 없는 전체 Splunk Enterprise 인스턴스
  • 인덱서보다 사용 공간이 적다.
  • 분산 검색 기능이 없다는 점 빼고는 대부분의 기능을 유지
  • 필요에 따라  Splunk Web과 같은 기본 기능을 일부 비활하여 설치 공간을 줄일 수 있음
  • 데이터를 전달하기 전에 파싱함
  • source 또는 event type과 같은 기준에 따라 데이터를 라우팅 할 수 있음
  • 로컬로 인덱싱하고 다른 Splunk 인스턴스에 전달할 수 있음 (outputs.conf)

 

 

 

🌞 Forwarder 데이터 유형

        포워더에서 보낼 수 있는 데이터 유형은 포워더 유형과 설정 방법에 따라 다름

        🎈 유니버셜 포워더는 원시 데이터와 파싱되지 않은 데이터를 전송할 수 있고

       🎈 헤비 포워더는 원시 데이터와 파싱된 데이터를 전송할 수 있다.

 

✏️ 원시 데이터 ( raw data )

      포워더에서 데이터를 TCP 스트림을 통해 수정되지 않은 상태로 보내고 Splunk 커뮤니케이션 형식으로 변환하지 않음

      원시 데이터는 Splunk가 아닌 시스템으로 데이터를 보낼 때 특히 유용함

 

✏️ 가공된 데이터 ( cooked data )

      원시 데이터와 구별하기 위해서 파싱되지 않은 데이터와 파싱된 데이터를 함께 이르는 말

      포워더에서는 기본적으로 가공된 데이터를 전송함

      따라서 원시 데이터를 전송하고 싶으면 outputs.conf에서 sendCookedData=false 값을 설정해야함

    🎈 파싱되지 않은 데이터

      🔸 최소한의 처리 작업만 수행한 데이터

      🔸 데이터 스트림에 메타데이터 태그를 적용한 데이터

      🔸 데이터 스트림을 64KB 블록으로 나눈 데이터

      🔸 수신 인덱서에서 사용할 수 있는 스트림에 기본적인 타임스탬프가 적용된 데이터

 

    🎈 파싱된 데이터

      🔸 개별 이벤트로 나뉜 데이터

      🔸 태그를 지정한 데이터

      🔸 파싱된 데이터는 필드 값과 같은 이벤트 데이터를 기준으로 조건부 라우팅을 수행할 수 있음