Oain

Devops 1년 회고록

lagu — Tue, 19 Jul 2022 01:41:54 +0900

https://ko.wikipedia.org/wiki/데브옵스

#회고록

Q. 어떤 업무를 진행 했나요?

A. 개발부터 ~ 운영까지에 대한 업무를 진행 했습니다.

Q. 어떤 직무를 진행 했나요?

A. Devops, SRE 업무를 진행 했습니다.

- 보통 Devops가 큰 범주이기 때문에 구분짓지는 않지만, 두개의 다른 직무를 수행했기에 구분 지었습니다.

Q. Devops로서의 업무를 디테일 하게 설명한다면?

A. 각 팀에서 정의 내리기에 따라 업무도다르고 방향도 다르지만, 저는 인프라에 필요한 개발을 주로 했습니다.

A. 여러 범주가 있어서 큰 타이틀로 구분 지어서 설명 하겠습니다.

#Infra

- terraform을 이용한 코드 작성 및 테스트

- vendor별 multi-accout & cluster를 생성

- cloud의 auth 및 access를 위한 policy작업 진행

- grafana 인증 작업

#api

- cluster의 환경 주소에 대한 crud 작업

- 특정 데이터 수집 및 요청

#language & type

- go

- react

- terraform

- yaml

- typescript

Q. SRE로서의 업무를 디테일 하게 설명한다면?

A. 기존의 배포한 인프라에 대한 모니터링을 하고 개선점을 찾고, poc(proof of concept) 작업들을 진행 했습니다.

- 점검을 진행할 때 불편한 부분들에 대한 자동화 작업

>> 예를 들면 점검시 jenkins 작업에서 어떤 옵션을 자동으로 바꾸어서 여러 서비스들을 재배포 해야하는 경우

- k8s에 대한 aggregate

>> k8s pod 등 문제점이 있는 부분을 파악 후 조치하기 위한 작업

Q. 정리를 한번 해주신다면?

A. 개발에 대한 니즈가 많은 상황이였고, 고도화 하기 위한 노력들이 있었기 때문에 개발쪽에 더 집중이 되었던 것 같습니다. 그렇게 작업을 진행하다가 sre로 넘어오면서 기존의 배포한 환경들에 대해 필요한 부분이나 모니터링이 필요한 부분에 대해 개선 했습니다.

A. 업무 진행한 것을 되돌아 보면서 느낀 것은, 회사에 이미 배포된 환경들은 참고하기 좋은 자료이나, 막상 직접 하려하면 못 하거나, 다른 환경에서는 시도하지 못 할만한 환경도 있기 때문에 자신의 환경 안에서 잘 구축하는게 중요해 보입니다.

A. 업무와 공부는 역시 다른것 같습니다. 업무는 어느정도 따라가도 공부의 필요성을 매번 느낍니다.

Devops 기술 면접(신입)을 보면서 느낀점

lagu — Thu, 24 Mar 2022 02:55:59 +0900

https://ko.wikipedia.org/wiki/데브옵스

#기술 면접을 보면서 느낀점

Q. 해당 글은 누가 보면 좋은가요?

A. Devops 신입으로 지원하시는 분입니다.

Q. 해당 글은 왜 썼나요?

A. Devops 신입으로 기술 면접들을 보면서 느낀점을 남기고자 했습니다.

Q. 글쓴이의 이전 배경 직업은?

A. 클라이언트 개발자로서 3년 정도 일한 경력을 지님(Unity)

Q. 이전 배경 직업이 이직하는데 도움이 되었는지?

A. 아무래도 알고리즘 문제 푸는데 도움이 되지 않았을까 생각.. 그외는..?

Q. 왜 도움이 되지 않았다고 생각하는지?

A. 기초적인 cs는 모두 네트워크 기반이였으며(네트워크의 기초 지식이 좋지 못했음..),
학교 다닐 때 잠깐 공부하던 내용이라 이미 시간이 많이 지남

# 기초적인 내용

- OSI 7 계층 같은 네트워크적 관점에 대한 질의

- 사용해본 언어, 어떤 장점이 있는지?

- 네트워크 동작 방식을 이해하고 있는지? (예 : google에 입력시 전달되는 방식)

- 프로토콜 차이점

- 로드밸런싱에 대해 이해하고 있는지?

# devops 내용

- devops란 무엇인지?

- aws, k8s 등 사용여부

- devops 관련 툴 사용 여부

- 어떤 것을 만들어 보았는지?

- 어떤 환경에서 배포해보았는지? (로컬 환경? aws?)

# 기술 외적 내용

- 전직 하려는 이유?

- 이전 회사에서 동료와의 관계성

- devops 준비 기간은? 어떤식으로 준비했는지?

- 이전 회사에서 업무는 어땠는지?

전반적으로 기술 면접을 보면서 느낀점은 아무래도 신입이다 보니 기초적인 지식과 어느정도 받아들일 준비가 되었는지 여부 였습니다. devops 개발자로 성장 가능성에 초점을 많이 두었고, 빠르게 변하는 환경이다 보니 어떤 것들을 해보았고 경험해보았는지, 경험해본 환경과 다른 방향성은 없었는지 등에 대해서 많이 물어봤습니다.

Cloud Study - kafka (apache)

lagu — Sat, 19 Mar 2022 23:42:50 +0900

#Kafka (apache)

→ Producer
  : 메시지 송신 API
  : 메시지를 생성하는 프로세스
  : 메시지를 Broker에 전달
  
→ Broker
  : 메시지 관리
  
→ Consumer
  : 메시지 수신 API
  : Broker에게서 Topic의 메세지를 가져와 사용
  : 하나의 스레드는 1개 이상 partition으로 부터 메시지를 읽음
  
→ Zookeeper
  : 분산처리
  : 각 노드 monitoring

#AWS Kafka (msk, amazon managed streaming for apache kafka)

→ producer & consumer
  : Apache Kafka 데이터 영역 작업을 사용하여 주제를 만들고, 데이터를 생산하고, 데이터를 생산하고 소비
  
→ broker node
  : Amazon MSK가 각 가용 영역에 생성할 브로커 노드 수를 지정
  : 각 가용 영역에는 고유한 virtual private cloud(VPC) 서브넷
  
→ Zookeeper
  : Apache ZooKeeper는 안정성이 뛰어난 분산 조정을 지원하는 오픈 소스 서버
  
*따라서 ec2 등 테스트를 위해서는 같은 vpc내에 있어야 함

Unity Study - Entities, Dots (how to install entities package)

lagu — Sat, 19 Mar 2022 23:21:09 +0900

https://unity.com/kr/dots

DOTS - Unity의 새로운 멀티스레드 데이터 지향 기술 스택

Unity의 새로운 고성능 멀티스레드 DOTS(데이터 지향 기술 스택)를 사용하면 멀티코어 프로세서를 최대한 활용할 수 있으며, 보다 풍부한 사용자 경험을 제공하고 더 쉽게 읽고 재사용할 수 있는 C#

unity.com

#What i want to do?

Dots - Jobs (multi thread, 멀티 스레드)

#Installing, setup (2020.3.13f, entities 0.17.0-preview.42), 4 step

step1
- package manager : Add package from git URL

step2
- input "com.unity.entites"

step3
- replace manifest.json entites
- version : 0.17.0-preview.42
  - where is this check version? : https://docs.unity3d.com/Packages/com.unity.entities@0.17/manual/install_setup.html

step4
- recommended packages
  - add packages
    - com.unity.rendering.hybrid (0.11.0-preview.44)
    - com.unity.dots.editor (0.12.0-preview.6)
    - com.unity.physics (0.6.0-preview.3)

Cloud Study - AWS SSO(Single Sign-On) & Terraform 명령

lagu — Tue, 8 Feb 2022 13:31:32 +0900

#AWS Signle Sign-On

→ AWS에서 인력 자격 증명을 한 번 생성하거나 연결하고 AWS 조직 전체에서 중앙 집중식으로 액세스를 관리

→ 계정 또는 클라우드 애플리케이션에 대한 액세스만 관리하도록 선택 가능

→ AWS SSO에서 직접 사용자 자격 증명을 생성하거나 Microsoft Active Directory 또는 
Okta Universal Directory 또는 Azure AD와 같은 표준 기반 자격 증명 공급자 사용 가능

#SSO 사전 준비

→ aws sso 활성화
(https://docs.aws.amazon.com/singlesignon/latest/userguide/step1.html)

→ aws cli v2 필요, 환경에 맞게 다운로드
(https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/install-cliv2.html)

#SSO configure

→ aws configure sso --profile=<profile>

#SSO 등록 확인

→ aws s3 --profile=<profile>

#SSO 로그인

→ aws sso login --profile=<profile>

#SSO와 Terraform 사용방법

→ AWS_PROFILE="<profile>" terraform init

Cloud Study - DNS hostedzone using azure

lagu — Sun, 23 Jan 2022 21:53:08 +0900

(Left : single server distribution, Right : CDN scheme of distribution)

#Azure DNS(Donmain Name Server)

→ Hosting Service for, DNS domains (provides name resolution), using Microsoft Azure infrastructure

→ manage your DNS records by using same credentials, APIs, tools, and billing

→ can't use Azure DNS to buy a domain name, you can using App Service domains or a third-party domain name registrar

→ 서비스 이름을 IP 주소로 변환하는 역할

#Anycast

→ azure dns using anycast networking (데이터가 사용자 요청의 위치에 따라 가장 가까운 서버로 전송)

→ anycast network addressing and routing method that attributes a single ip address to multiple servers in a network

→ the idea behind anycast is that data is sent to the closet server based on the location of the user request

→ frequently used in applications like DNS(Domain Name System) and CDNs (Content Delivery Networks), anycast makes routing descisions that enhance network performance
→→ what is a CDNs (Content Delivery Networks)?
→→→ geographically distributed network of proxy servers and their data centers (지리적으로 분산된 네트워크)

#Security

→ azure role-based access control (RBAC) to control who has access to specific actions for your organization (조직의 특정 작업에 액세스할 수 있는 사람을 제어)

→ activity logs, how a user modified a resource or to find error troubleshooting

→ resource locking, locking prevents other users in your organization fro accidentally


→ not support DNSSEC

#NS (NameServer)

→ DNS NS Record   

→ URL(string) address → IP(int) address

#SOA (Start Of Authority)

→ DNS zone 내에 저장된 정보, 구역에 관한 데이터를 제공하는 서버 이름 정보, 구역의 관리자, 데이터 파일의 현재 버전, 2차 네임 서버가 갱신된 내용을 점검하기 전에 기다려야 하는 시간, 구역 전달에 실패한 2차 네임서버가 재시도를 하기 전에 기다려야 할 시간, 2차 네임서버가 데이터를 갱신하거나 소멸시키기 전까지 유용하게 사용할 수 있는 최대 시간, 자원 레코드에 대한 TTL 파일의 기본 시간 등에 관한 정보를 저장

→ stores important information about domain or zone

→ 도메인 파일 작성에서 반드시 작성해야 하는 레코드

SOA information
name	example.com
record type	SOA
MNAME	ns.primaryserver.com
RNAME	admin.example.com
SERIAL	1111111111
REFRESH	86400
RETRY	7200
EXPIRE	4000000
TTL	11200

#DNS zone

→ TLD : Top Level Domain

→ cname : Canonical Name Record, 하나의 도메인 네임(에일리어스)을 다른 이름으로 매핑시키는 DNS의 리소스 레코드의 일종

#VIP(Virtual IP address) or VIPA mapping

→ 하나의 호스트에 여러 개의 IP주소를 할당, 하나의 네트워크 인터페이스에 여러 개의 IP 주소를 줄 수 있음

→ HA나 로드밸런싱을 위해 사용

→ uses network address translation (especially, one-to-many NAT), fault-tolerance, and mobility (일대다 NAT, 내결함성 및 이동성)
→→ NAT (Network address translation)
→→ TCP/UDP 포트 숫자와 소스 및 목적지의 IP 주소 등을 재기록 하면서 라우터를 통해 네트워크 트래픽을 주고 받는 기술

Full-cone NAT (one-to-one NAT)	"Full Cone" NAT
(Address)-restricted-cone NAT	"Restricted Cone" NAT
Port-restricted cone NAT	"Port Restricted Cone" NAT
Symmetric NAT	"Symmetric" NAT

#DNS A Record (도메인 name에 ip address를 mapping)

→ 대부분의 웹사이트에는 A 레코드가 하나만 있지만 여러 개 있을 수 있습니다. 일부 상위 프로필 웹 사이트에는 Round Robin 로드 밸런싱 이라는 기술의 일부로 여러 개의 서로 다른 A 레코드가 있습니다. 이 기술은 각각 동일한 콘텐츠를 호스팅하는 여러 IP 주소 중 하나로 요청 트래픽을 분산할 수 있습니다.
→→ Round robin dns
→→→ load balancing technique where the balancing is done by a type of DNS server called an authoritative NS(nameserver)
→→→ round-robin DNS can be used when a website or service has their content hosted on serveral redundant web servers
→→→ 도메인 이름은 같지만 ip 주소가 다른 여러 A 레코드 설정 가능


→ An A record maps a domain, such as contoso.com or www.contoso.com, or a wildcard domain such as *.contoso.com, to an IP address. In the case of an Azure Cloud Service, the virtual IP of the service. So the main benefit of an A record over a CNAME record is that you can have one entry that uses a wildcard, such as *.contoso.com, which would handle requests for multiple sub-domains such as mail.contoso.com, login.contoso.com, or www.contso.com.

Here is an example of an A record:

example.comrecord type:value:TTL(수명)

@(root)

192.0.2.1

14400

#DNS CNAME Record

→ A CNAME record maps a specific domain, such as contoso.com or www.contoso.com, to a canonical domain name. In this case, the canonical domain name is the [myapp].cloudapp.net domain name of your Azure hosted application. Once created, the CNAME creates an alias for the [myapp].cloudapp.net. The CNAME entry will resolve to the IP address of your [myapp].cloudapp.net service automatically, so if the IP address of the cloud service changes, you do not have to take any action.

#DNS Txt Record

→ DNS '텍스트'(TXT) 레코드를 사용하면 도메인 관리자가 DNS(Domain Name System)에 텍스트를 입력 할 수 있습니다 . TXT 레코드는 원래 사람이 읽을 수 있는 메모를 위한 장소로 의도되었습니다. 그러나 이제 일부 기계 판독 가능 데이터를 TXT 레코드에 넣을 수도 있습니다. 하나의 도메인에는 여러 TXT 레코드가 있을 수 있습니다.

→ Today, two of the most important uses for DNS TXT records are email spam prevention and domain ownership verification, although TXT records were not designed for these uses originally.

Example of a TXT record:

example.comrecord type:value:TTL

TXT

This is an awesome domain! Definitely not spammy.

32600

GoLand Debug Shortcut (goland 디버그 단축키)

lagu — Sat, 25 Dec 2021 04:01:11 +0900

Step Over : F8 (한칸)

Force Step Over : alt shift f8

Cloud Study - RBAC (role-based access control)

lagu — Wed, 4 Aug 2021 19:49:11 +0900

https://docs.microsoft.com/ko-kr/azure/role-based-access-control/overview

#RBAC

- 역할 기반의 접근제어 방식

- 보안에서 권한이 있는 사용자들에게 시스템 접근을 통제하는 방법

- 조직 내 개별 사용자의 역할에 따라 컴퓨터 또는 네트워크 리소스에 대한 액세스 규제 방법

#RBAC Role

- 역할 할당(Role assignment)

- 역할 권한 부여(Role authorization)

- 권한 부여(Permission authorization)

Cloud Study - Kubelet

lagu — Thu, 15 Jul 2021 12:52:38 +0900

kubelet

선장은 선박의 모든 활동을 관리할 책임이 있습니다.

마스터 선박을 보내고, 연락을 담당 합니다.

적절한 컨테이너를 적재하여 선박의 상태 및 컨테이너 상태 등을 선장에게 보고서를 다시 보냅니다.

배의 선장은 kubelet 입니다.

kubelet은 각 노드에서 실행되는 기본 "노드 에이전트"입니다.

클러스터의 각 노드에서 실행되는 에이전트. 

Kubelet은 파드에서 컨테이너가 확실하게 동작하도록 관리한다.

Cloud Study - ETCD cluster

lagu — Wed, 14 Jul 2021 21:46:53 +0900

ETCD

클러스터는 키-값 형식으로 정보를 저장하는 데이터베이스 입니다.

사실상 k8s의 기본 데이터 저장소

애플리케이션은 etcd에서 데이터를 읽고 쓰며, 이를 통해 설정 데이터를 배포

k8s - kubeadm HA topology, stacked etcd

etcd에서 제공하는 분산 데이터 저장소 클러스터를, 컨트롤 플레인 구성 요소를 실행하는
kubeadm으로 관리되는 노드에 의해서 형성된 클러스터 상단에 중첩하는 토플로지

각 컨트롤 플레인 노드 : 지역 etcd 맴버 생성
etcd 맴버 : 오직 해당 노드의 kube-apiserver와 통신

토플로지는 컨트롤 플레인과 etcd 맴버가 같은 노드에 묶여 있다.