[ Splunk Cloud ] Splunk Cloud 특징 및 토폴로지

728x90

☀️ 학습 목표 ☀️

🌿Splunk Cloud의 특징과 topology를 설명할 수 있다.

🌿Splunk Cloud Administrator가 관리하는 일을 인지한다.

🌿Splunk Enterprise on-premise와 Splunk Cloud administrator의 중요한 업무를 나열한다.

🌿Splunk Cloud data 수집 전략을 설명할 수 있다.

🍀 Splunk Cloud, Splunk as a Service (SaaS) 🍀

1️⃣ Splunk가 호스팅하고 Splunk가 지원하는 Splunk

2️⃣ Enterprise 기능과 특징이 누군가의 머신에서 작동됨

3️⃣ 데이터 프로세스와 검색의 신뢰성

4️⃣ 빠른 가치 창출

- 비싼 인프라 비용을 절감할 수 있음

- 제한된 자원으로 최대의 가치 창출

🍀 호스팅 되는 그냥 Splunk, Splunk Cloud 🍀

Splunk Cloud는 flexibility를 제공합니다

사업적 요구를 충족시킬 수 있는 확장가능하고 맞춤화 가능한 배포
조사와 분석에 특화된 search head
가상 환경과 실제 환경의 조합으로 사용할 수 있는 확장 옵션

실행과 확장을 위한 자동 배포

검색과 알람 및 보고서의 고가용성
모든 text 데이터를 수집할 수 있음
수집한 데이터를 검색가능한 이벤트로 파싱함
이벤트를 인덱스에 저장
데이터 보관 및 보존
사용자 권한 설정

🍀 Splunk Cloud 특징🍀

Splunk가 보장하는 기능

수집과 데이터 관리
데이터의 인덱싱과 저장
검색 가능한 데이터 접근 관리

고객 책임

클라우드로 데이터 전송
소스 타입이나, 인덱스 및 문맥적 디테일의 설정을 관리
변경 사항을 관리하고 조정
- 사용자와 데이터 보존 기간 및 셀프 서비스 관리
- 선택적 환경 설정 및 유지
- 라이센스, 수집, 사이징 및 활장성을 Splunk 계정 관리 팀 또는 전문적 서비스로 통제

🍀 Splunk Cloud의 배포 전략: 기초편🍀

On-prem Network / 고객이 이미 사용하고 있는 Cloud에 설치되는 인스턴스

데이터 서버
유니버셜 포워더
헤비 포워더

Cloud에 설치되는 인스턴스

Load balancer (로드 발란서)
인덱서
Search Head (서치 헤드)
Manager Node (매니저 노드)
라이센스 매니저

On-prem 환경 또는 고객이 사용하는 다른 Cloud 환경에서 데이터를 수집하고

그 수집한 데이터를 SSL Secured Access를 통해 Splunk Cloud 환경으로 전송한다.

그러면 설치된 Load Balancer가 전송된 대량의 데이터를 병목 현상이 생기지 않게 Indexer에 잘 배분해서 저장한다.

그 후에 Search Head에서 검색을 진행할 수 있고,

그 과정을 매니저 노드가 지켜보고 서버의 상태를 모니터링 콘솔에 띄워준다.

🍀 보안 컨트롤🍀

호스팅 되는 component에는 접근이 제한되어 있다.

Search head는 GUI로만 접근이 가능하다
CLI 환경에서 접근이 불가능하다
License pooling 또한 제공되지 않는다.

심사 규정 준수 사항

설치된 앱은 vetting policy를 준수해야한다.
규정은 데이터 보안과 개선된 플랫폼 안정성을 보장한다.

전송되는 것에 대한 보안

보안 SSL과 TLS을 통해 고객의 환경으로 부터 전송받음

🍀 Cloud 간 전송 시 보안🍀

Private Connectivity Program (PCP)
: 고객 클라우드(AWS)와 Splunk Cloud 사이의 데이터 교환 채널을 격리한다.

민감 정보에 대한 보안 신뢰도와 예측 가능한 퍼포먼스를 개선한다.
PCP는 규정된 고객 환경을 제공한다.
- HIPAA :
- PCI DSS
- IRAP
- FedRAMP
AWS PrivateLink 전송을 구성하고 관리한다.

🍀 Splunk 배포 시 보안 유의사항🍀

몇 가지 기본 보안 사항

🔺 Splunk component 관리

관리자의 비밀번호를 주기적으로 변경한다.
Splunk를 적절한 사용자 계정으로 구동한다.
Splunk user의 권한을 설정할 때 주의한다.

🔺 데이터 소스 접근 관리

방화벽을 사용하고 주기적으로 접근 규칙을 리뷰한다.
모든 default certificate을 변경하고, 유효한 CA 사인이 박힌 certi.를 사용한다.
TLS setting과 certi.를 리뷰한다.

🍀 Splunk On-prem VS Splunk Cloud Access🍀

Splunk Cloud의 복잡함, 보안 및 규제 이슈로 인해 component와 기능에 접근하는 것이 상이한 부분이 있다.

features	Splunk Enterprise (on prem)	Splunk Cloud
Command Line Interface	가능	고객들은 사용 불가
Apps	고객이 사용할 앱을 결정	심사 후 승인된 앱만 사용할 수 있음
Direct TCP and syslog inputs	가능	바로 보낼 수는 없음
Scripted Alerts	가능	승인된 앱의 내용만 가능
License pooling	가능	불가능
HTTP Event collector (HEC)	가능	ELB의 443 포트로만 가능
Splunk API	기본적으로 활성상태	클라우드 지원팀과 self-service app을 통해서만 가능함
Network Connection	TCP와 UDP 모두 사용 가능 선택적인 보안 연결도 가능	SSL secure connection으로만 Inbound TCP 프로토콜 가능

🍀 Splunk Cloud 관리 옵션🍀

Splunk Cloud 배포에서 검색, 모니터링 및 관리는 서치 헤드 UI에서 한다.
Splunk는 손쉽고 자동화된 변경 관리가 24/7 가능하다.

🔔 configuration change 관리

앱 및 config 자동화된 배포 및 설치
configuration는 서치 헤드의 메니저 서비스를 통해 set location에 배포된다.
인덱서에 staged bundle로 배포되고 저장됨

🔔 자동화된 배포와 설치

독점적인 자동화 빌드와 배포
자가 치유 인프라

🔔 Cloud operation에 의해 조정되고 지원되는 것

여러 구성 변경, 업데이트 또는 애플리케이션 설치에 대한 단일 이벤트로 변경 관리
데이터 보안, 감사 및 규정 준수 지원
업무 시간 외에 변경 일정을 잡을 수 있습니다(24/7 Geos)

🍀 고객 클라우드 개요🍀

Splunk Cloud Deployments

🪅 Splunk Cloud는 Splunk Account 또는 Partner로 부터 구매할 수 있고,

아래의 사항들에 의해서 계약이 결정된다.

배포 사이즈, 수집 모델, 사용 사례 및 고객의 요구
계약은 Professional Service 및 교육 credit을 포함할 수도 있다.

🪅 리소스 사용 및 수집량에 따라 사이즈가 결정됨

🪅 workload(리소스 사용량) 또는 인덱싱된 양(수집된 데이터 크기)에 따라 License가 결정됨

🪅 authentication 및 IP 주소에 의해서 접근이 제한됨

🪅 authentication 옵션

Splunk Native
SAML
LDAP

🍀 앱 관리🍀

App 및 Add-on의 규제된 설치 및 관리

🪅 Splunk Cloud App 검토

앱 동작에 대한 표준 및 정책 수립
데이터 보안 모범 사례 보장 적용
규제 준수 여부 확인을 통해 데이터 보안 취약성 방지

🪅 Cloud app 설치 (셀프 서비스 - Splunk 기반 또는 고객이 책임을 지는 경우)

자가 설치 앱의 수 증가
지원 티켓을 통해 Cloud Ops에서 설치한 일부 앱 (대량)
개인 애플리케이션에 구축된 맞춤형 Configuration 및 Artifact
서치 헤드를 통해 설치되고 관리 앱을 통해 배포되는 앱

🍀 앱 설치 in Splunk Cloud: Victoria vs Classic🍀

Victoria	Classic
서치 헤드 UI를 사용한 셀프 서비스 설치 ⭐️ Splunkbase에서 사전 확인되고 승인된 앱 설치 ⭐️ 앱 설치 시, 사용자 인터페이스 업로드 및 앱 검토 점검 수행
UI Splunkbase (SSAI) ⭐️ 대부분의 Cloud Vetted 앱은 검색 헤드 UI를 통해 설치할 수 있습니다	UI Splunkbase (SSAI) ⭐️ 몇 개의 Cloud Vetted 앱은 검색 헤드 UI를 통해 설치할 수 있습니다
UI App Upload ⭐️ Search Head UI를 통해 설치 여부를 확인한 후 생성된 앱	UI App Upload ⭐️ Search Head UI를 통해 설치 여부를 확인한 후 생성된 앱
Admin Config 서비스 API를 사용한 SSAI ⭐️ 수동으로 검증된 개인 앱 설치 ⭐️ Splunk 클라우드 배포 환경에서 개인 앱 관리
지원되는 설치 ⭐️ 프리미엄 솔루션 및 비표준 애플리케이션을 위한 지원 또는 프로페셔널 서비스 - 자동화된 전체 업데이트 및 유지보수	지원되는 설치 ⭐️ 지원 또는 프로페셔널 서비스가 Cloud Operations와 협력하여 애플리케이션 또는 추가 기능 설치 – 애플리케이션 및 종속성의 자동화되고 관리되는 설치 – 신속한 전체 업데이트, 대량 설치 및 유지보수

* SSAI (Self-service App installation)

🍀 Splunk Cloud Data Inputs🍀

고객이 관리하는 Splunk와 달리 Splunk 클라우드에서는

권한이 부여된 역할, 보안 토큰, 자격 증명 또는 인증서 유효성 검사를 사용하는 TCP 연결만 허용됩니다

🍀 Getting Data In (GDI)🍀

데이터를 효과적으로 수집하고 파싱하는 것은 고객의 비즈니스 가치와 퍼포먼스를 극대화하는데 중요하다.

PS를 사용하여 데이터 가용성 및 품질에 대한 모범 사례 보장

GDI 문제를 관리, 지원 및 문제 해결을 위해서는 다음과 같은 사항을 고려해야한다.

데이터 수집 경로
- 어떻게 데이터가 수집되고 전송되는지 확인해야한다.
제한
- Cloud에서 기능과 접근이 막혀있거나 제한되어 있는지 확인해야한다.
- 데이터 소스 드라이브나 네트워크 연결이 접근가능한지 그리고 충분이 빠른지 확인해야한다.
접근 컨트롤
- 방화벽이나 Ip주소가 제한되어 있는지 확인해야한다.

🍀 클라우드 환경에서 올바른 솔루션 구축🍀

주의 - 개발 과정에서 작동하는 것이 생산 과정에서 동일한 출력을 생성하지 않을 수 있음

온프리미엄 개발자 환경은 클라우드(운영) 소프트웨어 버전 및 설정과 일치해야함.
(주의: 클라우드에서 업데이트가 자주 발생함)

새 데이터 소스에 대한 "테스트" 인덱스 만들기
- 데이터 샘플을 "테스트" 인덱스로 수집
- 검색 또는 CMC를 사용하여 확인 및 검증
- 이벤트가 올바르게 구문 분석되면 입력을 프로덕션 인덱스로 리디렉션

설정을 클라우드에 업로드한 다음 데이터 처리가 예상대로인지 확인
- 모든 데이터를 운영 환경으로 전달하기 전에 클라우드 "테스트" 인덱스를 확인하고 검증
- 검색 헤드에 업로드된 설정이 모든 인덱서에 복제되는지 확인합니다
  (설정이 모든 인스턴스에 복제될 시간 허용)

🍀 Test Server 사용하기🍀

🪅 Single, standalone Server 배포

하나의 Splunk Instance Server에 모든 기능이 있다.
Splunk.com에서 다운로드하고 설치한다.
Splunk 및 애플리케이션 버전이 Splunk 클라우드 자산과 일치하는지 확인

🪅 권장 용례:

테스트 및 개념 증명을 위한 독립형 DEV 환경
클라우드 인덱스 및 구성 복제를 통해 인덱싱된 이벤트의 데이터 수집, 구문 분석 및 품질 테스트

🍀 Test Server 배포 전략🍀

🪅 배포 환경이 이상적인 상황

데이터 전송 전에 input을 테스트 할 때
파싱과 이벤트 생성을 확인해 할 때
실행 시 잘못 구성된 이벤트를 피하고 싶을 때

🪅 올바른 테스트를 보장하기 위해 실행 환경과 개발 환경을 맞춰야하는 조건

Splunk 버전
application과 configuration
인덱스 이름

🍀Hybrid Search - Classic Experience🍀

🪅 Search head에서 On-prem 검색 하거나 Search head에서 Cloud indexer 검색할 때

🪅 혼합 검색을 실행하여 여러 위치의 데이터 결합

🔆 Hybrid Search Topology 🔆

가능한 것
- On-prem의 서치 헤드에서 Splunk Cloud로의 검색 가능
제한된 사항
- 여러 개의 Cloud 환경으로 검색 불가능
- Cloud SH에서 on-prem splunk나 다른 Splunk Cloud로 검색 불가능

🔆 Splunk Version 호환성 🔆

On-prem 서치 헤드는 Splunk Cloud와 동일한 major.minor 버전을 실행해야 합니다
예를 들어 Splunk Cloud가 6.3.5 버전이면, on-prem 서치 헤드가 6.3 버전이어야함

🔆 동시 검색 🔆

클라우드 검색 동시성 제한은 클라우드 및 온프리미엄 하이브리드 검색 헤드에 적용됩니다.
- 자세한 내용은 Splunk 클라우드 서비스 제한 및 제약 조건을 참조

🔆 Search Types 🔆

임시 검색이 지원된다.
- 예약 검색이 지원되지 않는다.
  - 활성화된 상태에서 성능 문제가 발생하는 경우 업데이트 적용은 예약 검색을 비활성화한다.