전체 글 (175) 썸네일형 리스트형 [ Splunk Project ] Splunk로 주식 분석 | Phase 5. 주가 예측해 보기 이번에는 주식의 미래가격 예측을 위해 스플렁크에 있는 예측 알고리즘을 이용해 볼 것이다. 먼저 가장 기본적이고 시계열 데이터를 예측하기 위해 미리 만들어진 명령어 "predict" 를 이용해 본다. index="kospi" earliest=-180d | eval k_code = code | rex field=code "^(?\d+).KS" | lookup kospi_200 code OUTPUT name | where name = "SAMSUNG ELEC" | sort _time | table _time, Close | predict Close 정말 간단하게 종가 기준으로 예측을 수행한다. 결과는 위처럼 예측 값과 95% 확률 범위의 값이 표시가 된다. 이를 그래프로 표현하기 위해서 시각화의 "Line C.. [ Splunk Project ] Splunk로 주식 분석 | Phase 4. 현재 나의 현황 대시보드 만들기 2 우선 최근 90일간의 삼성전자에 대한 차트를 stats 명령을 사용해서 그려보자. 그 전에 나는 최근 7일 정도의 기록을 가지고 있기 때문에 이 프로젝트와는 맞지 않아서 있는 원래 있는 데이터를 지우고 Phase 1.의 방식으로 약 90일의 데이터를 가지고 왔다. stats 은 특정 필드들에 대해서 그룹화 하고 그룹된 값들에 대한 통계값을 구하거나, 이벤트 갯수를 세는 등의 작업을 해주는 명령이다. index="kospi" earliest=-90d code=005930* | eval k_code = code | rex field=code "^(?\d+).KS" | lookup kospi_200 code OUTPUT name | stats avg(Close) as Close by _time 이번에 수집한 .. [ Splunk Project ] Splunk로 주식 분석 | Phase 3. 현재 나의 현황 대시보드 만들기 🔆 오늘의 핵심 내용 🔆 룩업 만들기에 살짝 곁들여진 대시보드 만들기 🔆 룩업이 뭐가 좋은디!? 🔆 Splunk의 모아진 데이터의 내용을 좀 더 알기 쉽게 해석할 수 있도록 도와줄 뿐만 아니라, KVStore를 이용해 현재의 상태를 업데이트 하는데도 사용할 수 있다. 🔆 룩업의 종류 🔆 ▪️ 파일 룩업 ▪️ KV Store 룩업 1. 파일 룩업 만들기 아래의 kospi_200.csv 파일을 이용하여 룩업을 만들자! 설정에서 룩업을 클릭 룩업 테이블 파일에서 새로 생성 클릭 파일을 선택하고 룩업 이름을 입력 검색에서 다음을 실행하면 해당 룩업 파일에 대해서 조회할 수 있다. | inputlookup kospi_200.csv 우리가 수집한 파일에는 코드만 있고 회사명이 존재 하지 않기 때문에 편의를 위해.. [ Splunk Project ] Splunk로 주식 분석 | Phase 2. 실시간 주식 가격 조회 지난 포스팅에서는 주식에 대한 히스토리 정보를 Splunk에 저장하였다. [ 오늘의 목표 ] 현재 주식 가격 조회! ( 1 장 ) 새로운 명령어 "readstock" 만들기 🐋 readstock의 기능 🐋 code 이름을 주면 현재 시간의 주식 가격을 네이버를 통해 가져오게 함! | 1 절 | 명령어 "readstock "을 "stock" 앱에다가 만들기 🍀STEP 1 🍀 stock 앱이 설치된 디렉토리로 이동 [ 메뉴얼 상 명령어 ] $ cd $SPLUNK_HOME/etc/apps/stock [ 내 명령어 ] $ cd /opt/splunk/etc/apps/stock 왠지 모르게.. 나는 영구 환경 변수 설정이 안됨...ㅠ 🍀STEP 2 🍀 파일 생성 - bin/readstock.py : 실제 명령어 실.. [ Splunk Project ] Splunk로 주식 분석 | Phase 1. 주식 가격 조회 https://m.cafe.naver.com/ca-fe/web/cafes/26625693/articles/438?menuId=61 [스플렁크로 주식 데이터 분석 시스템을...] 1. 주식 데이터 수집하기 Cool 하게 시작해 보자... 이 과정을 모두 따라하기 위해서는 다양한 기술들이 필요하다. * 스플렁크와 SPL 에 대한 일반적인 지식 * Python + numpy ... cafe.naver.com 요걸 참조로 많은 걸 시도했다.. 다른 것들은 스무스하게 잘 할 수 있지만 오래된 게시글이라서 그런지 지금 돌리니 오류가 있는 부분이 있어서 포스팅한다. 크게 두 가지 부분에서 문제가 발생하는데 첫번째는 stock_json이라는 sourcetype을 지정하는 것에서 문제가 발생하고 두번째는 이 코드 자체에.. [ Linux ] 리눅스에서 주피터 노트북 서버 환경 구축 (feat. VM_Ubuntu) [ STEP 1 ] Jupyter 패키지 설치 [ 설치 명령어 ] pip install jupyter [ 설치 유무 및 버전 확인 ] jupyter --version [ STEP 2 ] Jupyter Notebook 실행 jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root 위의 명령어로 jupyter notebook을 실행하면, 터미널이 아래 화면처럼 나타남 터미널에 출력되는 http 주소를 복사하고 웹 브라우저 주소창에 입력한다. 여기서 127.0.0.1 부분은 가상 서버 ip로 바꿔 줘야 한다. 그럼 아래 사진과 같이 주피터 노트북 환경이 나타난다. 이 환경에서의 root는 jupyter notebook을 실행한 디렉토리이다. 여기서는 /opt/splun.. [ Linux ] 리눅스에서 파이썬 개발 환경 구축 (feat. Ubuntu) 1. 사용할 서버를 열고 python3를 다운로드한다. [ 설치 명령어 ] apt-get install python3 [ 설치 확인 명령어 ] python3 --version 번외! 어디 설치 되었는지 알아보자. 🍇 첫 번째 후보 파일에 대해 확인해보자. 얘는 /usr/share/binfmts 디렉토리에 있는데 대충 의미는 사용자들이 공유하는 폴더이면서 binary formatting tools이 있는 폴더이다. 그 속에 있는 python3.10은 실행파일을 포맷팅하는 파일일 가능성이 높다. [ 명령어 ] cd /usr/share/binfmts ll 우리가 찾은 파일은 74Byte 밖에 안 됨.. 따라서 설치 파일이라고 볼 수 없음... 🍇 두 번째 후보 파일은?! 얘는 /usr/share/lintian.. [ Splunk 서버구축 ] splunk enterprise version up 하기, 업데이트 하기 [ STEP 1 ] $SPLUNK_HOME/bin/splunk stop 실행 [ STEP 2 ] /opt 밑에 새 버전 설치파일(*.tar)을 다운로드 한다. Splunk enterprise 다운로드 페이지 https://www.splunk.com/en_us/download/splunk-enterprise/thank-you-enterprise.html Thank You for Downloading Splunk Enterprise | Splunk thank-you-enterprise www.splunk.com 명령어 cd /opt Splunk download 페이지에서 얻은 command 볶붙 자세한 사항은 이전 포스팅 참고! 2023.05.19 - [Splunk/Project] - [ Splunk Pro.. 이전 1 ··· 15 16 17 18 19 20 21 22 다음
