주록

[Kubernetes] Helm (1) - Helm이란?

Kubernetes는 컨테이너화된 애플리케이션을 배포하고 관리하기 위한 오케스트레이션 도구이다. 그러나 복잡한 구성과 설정 작업은 Kubernetes 배포를 어렵게 만들 수 있다. 이런 문제를 해결하기 위해 Helm은 Kubernetes 애플리케이션의 패키징, 배포, 업그레이드, 롤백 등을 단순화하는 도구이다. 이번 글에서는 Helm이 무엇이고 왜 사용하는지 알아보자. Helm 이란? Helm은 Kubernetes 패키지 매니저로 애플리케이션을 차트라는 단위로 패키징하고 쉽게 배포,관리,공유할 수 있게 해준다. 쉽게 말하면 리눅스에서 패키지 관리하는 YUM,APT랑 Node.js 환경에서 사용하는 npm, Python에서 사용하는 PIP 와 비슷한 개념이라고 생각하면 이해하기 쉽다. Helm 기본 구조 ..

[인프라] JupyterHub 설치

JupyterHub이 무엇이고 간단한 설치 방법을 알아보자. Jupyterhub JupyterHub이란 다중 사용자 환경에서 Jupyter Notebook을 호스팅하고 관리하는 도구이다. 여러 사용자가 동시에 Jupyter Notebook을 사용할 수 있으며, 각 사용자는 독립적인 작업 환경을 가진다. * Jupyter Notebook: Python Interpreter로 웹 에서 Python 코드를 작성하고 실행할 수 있는 개발 환경 설치 환경 - 버추얼박스에서 진행 - OS: Ubuntu 20.04 - CPU: 2 Core - Memory: 4096 MB 설치 방법 * root에서 진행 1. Nodejs 패키지 설치 apt-get install nodejs npm npm install -g confi..

[Kubernetes] 오브젝트 이름 규칙

쿠버네티스를 사용하다 보면 많은 오브젝트를 만들게 된다. Pod,Deployment,Namespace,Service등 오프젝트를 생성할 때 간혹 오브젝트의 이름이 이상해서 생성이 안되는 경우가 있다. 그것은 각 오브젝트를 생성할 때 오브젝트의 이름에 대한 규칙이 존재하기 때문이다. 그 규칙을 위반 하면 다음과 오류가 발생한다. error: failed to create ClusterIP service: Service "asdservicA" is invalid: metadata.name: Invalid value: "asdservicA": a DNS-1035 label must consist of lower case alphanumeric characters or '-', start with an alph..

[Kubernetes] JupyterNotebook 설치

오늘은 k8s를 사용해 JupyterNotebook을 설치해보겠다. deployment jupyter-deploy.yaml apiVersion: apps/v1 kind: Deployment metadata: name: jupyter-deployment namespace: jupyter-notebook spec: replicas: 1 selector: matchLabels: app: jupyter-deploy template: spec: nodeSelector: nodeType: worker-node1 metadata: labels: app: jupyter-deploy spec: containers: - name: jupyter-container image: jupyter/tensorflow-noteboo..

[인프라] Ansible

Ansible 이란 Ansible은 오픈소스 IT 자동화 도구입니다. Ansible을 사용하여 시스템을 구성하고, 소프트웨어를 배포하고, 지속적인 배포와 다운타임이 없는 롤링 업데이트와 같은 향상된 IT 작업들으르 조율할 수 있다. 아키텍처 Ansible의 아키텍처에서 시스템 유형으로 컨트롤 머신과 관리 노드가 있다. 컨트롤 머신에 Ansible이 설치되며, 관리 노드들은 컨트롤 머신에 의해 유지되거나 관리됨 관리 노드들은 인벤토리 파일에 나열되어야 하며, 여기에는 호스트이름 또는 IP 주소로 저장된다. 또한 인벤토리에 각 관리 노드들의 기능별로 그룹화 시켜서 저장도 가능하다. 시스템 관리자는 컨트롤 머신에 로그인하여 플레이북 또는 원격 전송 명령을 사용하여 관리 노드를 제어 할 수 있고 컨트롤 머신은 ..

[인프라] AutoScale

AutoScale 오토스케일이란 무엇일까 지난번 포스팅에서 로드밸런서를 포스팅 했을 때 서버의 부하분산을 줄이는 방법중에 Scale라는것을 설명한적이 있다. 그러면서 그럼 트래픽이 몰리면 사람이 일일이 Scale Out 를 해주고 사람이 빠지면 Scale In를 해주면 너무 비효율적일 것이다. 그래서 사용하는것이 이 Scale를 자동으로 해주는 AutoScale 방법이다. AutoScale은 기본적으로 클라우드 환경에서 사용 하는것으로 내가 설정한 정책에 따라서 시스템을 자동으로 늘려주고 줄여주는 서비스이다. 예를 들어 갑자기 트래픽이 몰리게 되면 그 해당 서버에 CPU 사용률도 점점 높아질 것이다. 이 때 CPU 사용률이 일정 수치 높아 지면 클라우드 자체에서 내가 미리 준비한 이미지를 이용해 똑같은 ..

[인프라] CI/CD

CI/CD CICD 란 무엇일까 CI ( 지속적 통합) CD (지속적 배포 OR 딜리버리)라는 말이다. 쉽게 얘기해서 서비스 개발 단계부터 배포 단계까지 자동화하여 클라이언트에게 빈번이 배포할 수 있도록 만드는 것을 의미한다. CI CI를 적용하기 전까지는 개발을 다하고 배포가 되어야만 코드에 어떤 문제점이 있는지 잘 작동하는지를 확인하고 관리 할 수 있었다. 보통 개발자들은 하루에 몇 차례나 코드를 수정할 내용이 있으면 빌드 - > 테스트 -> 코드를 통합시킨다. 이 과정이 하루에 많이 일어나다보니 시간도 시간이고 너무 일을 하는데 있어서 비효율적이었다. 하지만 CI를 적용한 후에는 내가 구현해야할 코드를 구현만 하면된다. 그리고 수동으로 해왔던 빌드 - 테스트 - 코드통합을 자동화로 만들기 때문에 개..

[ELK Stack] Elastic Search

Elastic Search Elastic Search는 Apcahe Lucene 기반의 Java 오픈소스 분산 검색 엔진이다. 기본적으로 모든데이트를 인덱싱하여 저장하고 검색 집계등을 수행한다. Elastic Search는 검색을 위해 단독으로 사용되기도 하지만 ELK(Elastic Search,Logstatsh,Kibana)로 사용되기도 한다. Elastic Search 특징 일반적인 DB와 다르게 Inverted index 을 사용해 검색속도가 상대적으로 빠르다. NoSQL의 일종으로 분류 할 수도 있고 분산처리를 통해 실시간성으로 빠른 검색이 가능하다. HTTP기반의 REST를 활용하여 요청/응답에 JSON을 사용하기 때문에 개발언어,운영체제등 관계없이 다양하게 활용이 가능하다. 오픈소스 검색엔진이..

[kubernetes] 쿠버네티스란?

쿠버네티스 k8s 라고도 부르며 컨테이너화된 애플리케이션의 자동 디플로이, 스케일링 등을 제공하는 관리시스템 이다. 쿠버네티스는 컨테이너 기반의 분산 클러스터 환경을 제공하며 워크로드를 위해 컴퓨팅,네트워킹 및 스토리지 인프라를 오케스트레이션 한다. laaS의 유연함을 더해주며, PaaS를 제공한다. 쿠버네티스는 PaaS의 분류에 속하지만 일반적인 PasS의 모든 개념을 포함하고 있지 않다. 하드웨어 레벨이 아니라 컨테이너 레벨에서 운영 되기 때문에, PaaS의 일부 기능만 제공한다. 쿠버네티스가 제공하는 기능 컨테이너 플랫폼 마이크로서비스 플랫폼 이식성 있는 클라우드 플랫폼 기본 구조 마스터(Control Plane) : 마스터는 클러스터의 컨트롤 플레인을 제공한다. 클러스터에 대한 전반적인 결정(예:..

[Docker] 도커 컴포즈로 Grafana,InfluxDB 구축 및 연결

도커 컴포즈로 Grafana와 InfluxDB 를 구축 및 연결 해보자 먼저 docker-compose.yaml 파일을 생성해 작성해준다. version: '3' services: grafana: image: grafana/grafana:latest ports: - '3005:3000' networks: - monitoring depends_on: - influxdb volumes: - ./grafana:/var/lib/grafana - ./grafana2/grafana.ini:/etc/grafana/grafana.ini user: root influxdb: image: influxdb:1.8.3 container_name: influx ports: - '8086:8086' networks: - moni..

[Grafana] 에러 - Grafana '/var/lib/grafana/plugins': Permission denied grafana_1 | You may have issues with file permissions, more information here: http://docs.grafana.org/installation/docker/#migrate-to-v51-or-latergrafana_1 | mkdir: can't creat..

docker-compose를 사용해 Grafana 컨테이너를 생성하는 과정에서 볼륨쪽에 다음과 같은 에러가 발생하여 컨테이너가 정상적으로 실행되지 못하는 이슈사항이 있었다. Grafana '/var/lib/grafana/plugins': Permission denied grafana_1 | You may have issues with file permissions, more information here: http://docs.grafana.org/installation/docker/#migrate-to-v51-or-later grafana_1 | mkdir: can't create directory '/config/plugins': No such file or directory 다음은 내가 작성했던 d..

[Docker] 도커 컴포즈 (Docker compose)

도커컴포즈는 yaml 형식으로 작성하며 하나의 도커컴포즈.yaml 파일에 여러 컨테이너를 정의할 수 있다. 기본적으로 도커 컴포즈는 도커 데스크탑을 설치하면 기본적으로 설치되어있다. nginx 컨테이너 실행하기 # cat docker-compose.yaml version: "3" # docker-compose 버전 services: nginx-ju: # 컨터이너 이름 image: nginx:latest # 이미지 ports: # port - 8089:80 volumes: # 볼륨 - ./index.html:/usr/share/nginx/html/index.html restart: always # docker-compose up 먼저 베이스 이미지로 nginx 이미지를 사용하여 컨테이너로 만들어주고 로컬환..