Cloud Study - kafka (apache)

#Kafka (apache)

→ Producer
  : 메시지 송신 API
  : 메시지를 생성하는 프로세스
  : 메시지를 Broker에 전달
  
→ Broker
  : 메시지 관리
  
→ Consumer
  : 메시지 수신 API
  : Broker에게서 Topic의 메세지를 가져와 사용
  : 하나의 스레드는 1개 이상 partition으로 부터 메시지를 읽음
  
→ Zookeeper
  : 분산처리
  : 각 노드 monitoring

 

 

#AWS Kafka (msk, amazon managed streaming for apache kafka)

→ producer & consumer
  : Apache Kafka 데이터 영역 작업을 사용하여 주제를 만들고, 데이터를 생산하고, 데이터를 생산하고 소비
  
→ broker node
  : Amazon MSK가 각 가용 영역에 생성할 브로커 노드 수를 지정
  : 각 가용 영역에는 고유한 virtual private cloud(VPC) 서브넷
  
→ Zookeeper
  : Apache ZooKeeper는 안정성이 뛰어난 분산 조정을 지원하는 오픈 소스 서버
  
*따라서 ec2 등 테스트를 위해서는 같은 vpc내에 있어야 함