Linux (10) 썸네일형 리스트형 Linux 개념 | AWS Linux 2023에서 THP Disable 방법 최근 Splunk, Elasticsearch, Kafka, DB 환경을 AWS에서 구성하는 사례가 많아지면서,성능 튜닝 중 하나인 THP(Transparent Huge Pages) 비활성화가 다시 주목받고 있습니다. 이 글에서는 Amazon Linux 2023 기준으로 THP를 어떻게 disable 하는지,그리고 예전에 자주 사용하던 tuned-adm 방식이 왜 사라졌는지를 쉽게 정리해봅니다.1. THP(Transparent Huge Pages)가 뭐길래 끄는 걸까?리눅스 메모리는 기본적으로 4KB 단위로 관리되지만, THP는 커널이 자동으로 큰 2MB 단위 페이지로 묶어주는 기능입니다.계산 위주의 HPC나 AI/ML 작업에서는 이득이 있지만, JVM 기반 + latency-sensitive + mmap.. Linux 개념 | ulimit의 역사 : nproc 값을 왜 제한했었고, 왜 이제는 unlimited인가? 리눅스 서버 운영 가이드나 보안 설정 문서를 보면 예전부터 다음과 같은 설정을 자주 볼 수 있습니다: hard nproc 100000soft nproc 100000 그런데 최근 배포판을 보면 ulimit -u 결과가 아래처럼 나옵니다: $ ulimit -uunlimited 이 글에서는 "왜 과거에는 nproc를 제한했는지" 그리고 "언제부터 unlimited가 일반화되었는지"를 운영 환경과 커널 변화 측면에서 정리해봅니다.1. nproc란 무엇인가?nproc은 하나의 사용자 또는 프로세스가 생성할 수 있는 프로세스 및 스레드 수의 최대치를 의미합니다.확인 명령: $ ulimit -u2. 예전에는 왜 nproc를 제한했을까?과거 리눅스 운영 환경에서는 다음 조건들이 매우 흔했습니다:다수 사용자가 동일 서버.. Linux 개념 | Amazon Linux 2023과 유사한 OS는 무엇인가? — 운영 모델 관점에서 비교해보기 Amazon Linux 2023을 사용하다 보면 이전과 다른 점이 눈에 띄기 시작합니다.특히 tuned-adm 기반 성능 프로파일링이 사라지고,대신 systemd와 cgroup 기반의 자원 제어 방식으로 전환된 부분이 인상 깊습니다. 그렇다면 Amazon Linux 2023과 유사한 구조를 가진 OS는 무엇일까요? 그리고 왜 이런 변화가 생겼을까요?1. Amazon Linux 2023의 핵심 구조 특징먼저 Amazon Linux 2023(AL2023)의 핵심을 정리하면 다음과 같습니다:systemd 기반cgroup v2 기본 적용커널 5.x 계열cloud-native workload 가정Hypervisor가 CPU/Power/Scaling 제어tuned 패키지 미제공OS 전체가 아니라 서비스 단위 res.. Linux 개념 | ulimit 사용 가이드: soft/hard, nofile, nproc 쉽게 정리 서버 운영하다 보면 가끔 마주치는 명령어가 있습니다.바로 ulimit 입니다. 멀쩡하게 서비스 돌리던 중에 느닷없이 Too many open files 같은 메시지가 뜨면, 그때서야 이 명령을 찾게 되곤 하죠. 이번 글에서는 ulimit이 무엇인지, soft/hard 한도의 차이는 무엇인지,그리고 자주 보이는 nofile, nproc 같은 항목이 무엇을 의미하는지 간단하게 정리해봅니다.1. ulimit이란?ulimit은 리눅스에서 사용자 또는 프로세스가 사용할 수 있는 자원 한도(Resource Limit)를 확인하거나변경할 수 있는 명령어입니다. 이 한도에는 다음과 같은 것이 포함됩니다.파일 디스크립터 개수 (nofile)프로세스/스레드 개수 (nproc)코어 덤프 크기 (core)스택 크기 (stac.. Linux 개념 | 파일 디스크립터(File Descriptor, FD) 확인 법 리눅스 서버에서 현재 파일 디스크립터(File Descriptor, FD) 사용량 및 제한치를 확인할 때 사용하는 명령어와 출력 항목의 의미를 정리합니다.1. 커널 레벨 FD 사용량 확인$ cat /proc/sys/fs/file-nr 출력 예시:1056 0 9223372036854775807 출력값은 총 3개의 숫자로 구성되며 각각 의미는 다음과 같습니다.항목설명첫 번째 값커널에서 현재 사용 중인 FD 개수 (allocated)두 번째 값할당되었지만 아직 사용되지 않은 FD (unused) — 최신 커널은 대부분 0세 번째 값커널에서 설정된 FD 총 최대치 (fs.file-max)위 예시 기준 해석:현재 사용 중: 1056개미사용: 0개커널 최대 허용치: 263-1 (사실상 무제한)2. .. Linux 개념 | 파일 디스크립터(File Descriptor, FD)란? 서버 튜닝하다 보면 꼭 나오는 단어가 있어요. 바로 파일 디스크립터(File Descriptor, FD).근데 이름부터 살짝 딱딱하죠? 감으로만 “뭔가 자원 숫자겠지…” 하면서 넘어가기 쉽습니다.이 글에서는 파일 디스크립터를 “서버가 들고 있는 번호표” 정도로 귀엽게 이해해볼게요.1. 파일 디스크립터 = 열려 있는 것들의 번호표리눅스 세계관에는 이런 말이 있어요. “Everything is a file”.진짜로, 아래 것들이 다 파일처럼 취급됩니다.로그 파일사용자와의 네트워크 연결(소켓)프로세스끼리 주고받는 파이프디바이스(예: /dev/…)그리고 이런 것 하나하나에 “번호표”를 붙여서 관리하는데,그 번호표가 바로 파일 디스크립터(FD)입니다.# 예를 들어,# - 파일 하나 열면: FD 하나 사용# - 소.. [ Rocky Linux ] Rocky Linux 9.0 OS 다운로드 및 설치 1. Rocky Linux 9.0 OS 다운로드http://rockylinux.org/download Download - Rocky LinuxDownload Download the latest Rocky Linux versions here. Get Involved As you download and use Rocky Linux, the Rocky Enterprise Software Foundation invites you to be a part of the community as a contributor. There are many ways to contribute to the project,rockylinux.org [ DVD ]Base OS 및 App Stream 리포지토리를 포함하고 추가 리포지토.. [ Linux ] 리눅스에서 주피터 노트북 서버 환경 구축 (feat. VM_Ubuntu) [ STEP 1 ] Jupyter 패키지 설치 [ 설치 명령어 ] pip install jupyter [ 설치 유무 및 버전 확인 ] jupyter --version [ STEP 2 ] Jupyter Notebook 실행 jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root 위의 명령어로 jupyter notebook을 실행하면, 터미널이 아래 화면처럼 나타남 터미널에 출력되는 http 주소를 복사하고 웹 브라우저 주소창에 입력한다. 여기서 127.0.0.1 부분은 가상 서버 ip로 바꿔 줘야 한다. 그럼 아래 사진과 같이 주피터 노트북 환경이 나타난다. 이 환경에서의 root는 jupyter notebook을 실행한 디렉토리이다. 여기서는 /opt/splun.. 이전 1 2 다음
