[ Splunk Basic ] SPL: Search Processing Language

🐳 Splunk  검색은 일련의 command와 argument들로 구성되어 있다.

 

splunk 검색 구조

• 명령은 파이프 "|"와 함께 연결되며
• 왼쪽 명령의 출력이 오른쪽에 있는 다음 명령의 대상이 된다.

 

맨 앞에 생략된 search  command

• 검색 파이프라인의 시작 부분에는 인덱스에서 이벤트를 검색하기 위한 암시적 검색 명령이 있다.
• 검색 요청은 키워드, 인용구, 부울 식, 와일드카드, 필드 이름/값 쌍 및 비교 식으로 작성되며
• AND 연산자는 검색어 사이에 내포되어 있다.

• 위의 검색은 sourcetype이 access_combined이면서 event에 error라는 string이 있는 event를 검색한 후,
  상위 5개의 가장 일반적인 uri를 반환한다.
• 검색 명령은 원하지 않는 이벤트를 필터링하고, 더 많은 정보를 추출하고, 값을 계산하고, 변환하고, 인덱싱된 데이터를 통계적으로 분석하는 데 사용한다.
• 검색 결과를 인덱스에서 가져온 동적으로 생성된 테이블로 생각하면 된다.
• 인덱싱된 각 이벤트는 행입니다. 필드 값은 열입니다.
• 각 검색 명령은 해당 테이블의 모양을 재정의합니다.
  예를 들어 이벤트를 필터링하는 검색 명령은 행을 제거하고 필드를 추출하는 검색 명령은 열을 추가합니다.

 

🍀Time Modifiers🍀

• latest 및 earliest 검색 수정자를 사용하여 검색과 함께 인라인으로 이벤트를 검색할 시간 범위를 지정할 수 있습니다.
• 상대 시간은 시간의 양(정수 및 단위)과 선택적인 시간 단위인 "맞추기"를 나타내는 문자열로 지정됩니다.
• 문법: [+|-] <integer><unit>@<snap_time_unit>
• error earliest=-d@d latest=-h@h
  
  • 어제 발생한 error가 포함된 이벤트를 검색하여 처음으로 스냅한다.
  • 오늘의 가장 최근 시간(00:00:00)과 오늘의 가장 최근 시간까지 정각에 스냅한다.
• 시간 단위로 맞추기는 시간을 내림합니다. 
  • 예를 들어 11:59:00이고 시간(@h)으로 스냅하면 사용된 시간은 12:00:00이 아니라 11:00:00입니다.
• 일요일은 @w0, 월요일은 @w1 등을 사용하여 특정 요일로 스냅할 수도 있습니다.

 

 

 

🍀Subsearches🍀

• 하위 검색은 자체 검색을 실행하고 결과를 인수 값으로 상위 명령에 반환합니다.
• 하위 검색이 먼저 실행되고 대괄호 안에 포함됩니다.
• sourcetype = syslog [ search login error | return 1 user ] 
• 예를 들어 다음 검색은 하위 검색을 사용하여 마지막 로그인 오류가 발생한 사용자의 모든 syslog 이벤트를 찾습니다.

 

 

🍀Optimizing Searches🍀

• 빠른 검색의 핵심은 디스크에서 가져와야 하는 데이터를 최소한으로 제한하는 것입니다.
• 그런 다음 가능한 한 빨리 해당 데이터를 필터링하여 필요한 최소한의 데이터에 대해 처리가 수행되도록 합니다.
• 여러 유형의 데이터에서 검색을 거의 수행하지 않는 경우 데이터를 별도의 인덱스로 분할합니다.
  
  • 예를 들어 웹 데이터를 한 인덱스에 넣고 방화벽 데이터를 다른 인덱스에 넣습니다.
• 시간 범위를 필요한 만큼만 제한하십시오.
  • 예를 들어, -1w가 아닌 -1h이거나 earliest = -1d입니다.
• 가능한 한 구체적으로 검색하십시오.
  • 예를 들어, *error*가 아닌 fatal_error로 검색하는 것이 더 좋습니다.
• 대시보드에서 사후 처리 검색을 사용합니다.
• 요약 인덱싱, 보고서 및 데이터 모델 가속 기능을 사용합니다.

 

 

🍀Machine Learning Capabilities🍀

• Splunk의 머신 러닝 기능은 포트폴리오 전체에 통합되어 있으며 다음과 같은 제품을 통해 솔루션에 내장되어 있다.
  • Splunk MLTK
  • Streaming ML
  • Framework
  • Splunk Machine Learning Environment

 

🍀SPL2🍀

• 여러 Splunk 제품은 SPL2라는 새로운 버전의 SPL을 사용하여 검색 언어를 더 쉽게 사용할 수 있게 하고 자주 사용하지 않는 명령을 제거하며 명령 구문의 일관성을 향상시킵니다.
• https://docs.splunk.com/Documentation/SCS/current/SearchReference/Introduction 참조