기존의 아키텍쳐와 배포 과정 팀에 합류하여 코드베이스와 인프라 구성을 보았고, 배포는 어떻게 진행하는 지에 들었을 때 어떻게 수정해야 될지 감이 오지 않았다. 기존엔 위와 같이 API Gateway가 EC2의 public ip 로 요청을 나눠주는 형태로 구성되어 있었다. 개발 서버 / 운영 서버용 API Gateway가 나눠져 있었고, 각각의 ec2 서버에 접속해서 특정 포트에서 실행중인 프로세스를 죽이고, 새로 웹서버를 띄우는 방식으로 배포를 진행하고 있었다. 추가로 개발서버와 운영서버의 레포지토리가 나눠져있었다. 이러한 이슈들을 어떤 생각으로 해결했는지를 작성하고자 한다.

Auto Configuration ? auto configuration은 어플리케이션의 classspath 나 bean을 기반으로 필요한 설정을 자동으로 구성하는 것을 의미한다. 이를 이용하면, application.yaml 에 db connection 과 관련된 property를 정의하고 db dependency를 설치하는 것으로 간편하게 db에 대한 접근을 쉽게할 수 있다. auto configuration은 @SpringBootApplication 어노테이션에 포함된 @EnableAutoConfiguration 어노테이션에 의해 활성화가 된다. 작동원리 @EnableAutoConfiguration 에 의해 활성화 META-INF/spring.factories에 정의된 것을 보고 어떤 클래스들을 자동으로 구성할 지 결정한다. 조건부로 구성 @Conditional~~ annotation에 의해 특정 클래스가 classpath에 존재할 때만 활성화를 시키거나, 존재하지 않을 때만 활성화를 시킨다.

이전 서버로 요청을 보낼 때 일어나는 일 에서 높은 수준에서 네트워크 트래픽이 어떻게 동작하는 지 알아봤었다. 이번에는 docker로 네트워크를 구축해보고 좀 더 낮은 커널 수준에서 네트워크를 구축하는 과정은 어떻게 이루어지는지 그 안에서 쓰이는 용어/ 명령어에 대해 알아보고자 한다. red 와 blue container 가 서로 트래픽을 주고 받을 수 있을까 ? 첫번째로 실습해볼 내용은, host pc 내에 red/blue container를 생성하고 2개의 network가 서로 통신할 수 있는지 테스트 해보는 것이다. 도커로는 이를 간단하게 구축할 수 있다.

위 그림은 집에서 와이파이에 접속한 내 컴퓨터가 특정 서버로 요청을 보내는 과정을 그린 그림이다. 위 그림을 토대로, 네트워크를 이용해 통신을 하는 과정에서 DNS / DHCP / NAT / router / gateway / Network Namespace / ISP / OSI 에 대해 알아보고자 합니다. 컴퓨터가 와이파이에 연결했을 때 일어나는 일 DHCP 로 부터 private IP, subnet mask, default gateway address, DNS 서버 주소등을 제공받습니다. 와이파이에 연결된 컴퓨터는 고유의 ip를 갖게 되는데 이 ip는 외부에서는 알 수 없도록 해야합니다.

Youtube Shorts Generator 는 content 를 기반으로 gpt에게 스토리보드를 작성하게 하고, 스토리보드는 여러개의 씬을 가지고 있다. 각 씬의 이미지 프롬프트를 기반으로 dalle-3 모델을 사용하여 각 스토리에 대한 이미지 생성시키고, 생성된 이미지를 기반으로 stability AI 의 img2vid 모델을 이용하여 이미지를 짧은 비디오로 변환하여 모든 씬을 이어 붙인 후, 대본을 입히고, 음성을 입혀 요즘 유행하는 shorts를 자동으로 생성하게 해주는 프로그램이다. 오늘 포스팅할 주제는, 작성된 스토리보드를 기반으로 이미지를 생성하는 dalle3 모델을 어떻게 사용했는지, 그리고 해당 모델을 사용하면서 생겼던 문제와 그 문제를 어떻게 해결하고자 하는지에 대한 포스팅을 하려고 한다.

consumer 역할 컨슈머는 메시지를 가져오는 역할을 합니다. 이 때 어느 메시지를 가져와야 하는지를 결정해야 하므로 offset 을 관리하는 것이 중요합니다. 카프카에서는 consumer 가 관리하는 offset을 __consumer_offset토픽에 저장합니다. 기록하는 정보에는 컨슈머 그룹, topic, partition 정보가 함께 들어있습니다. 그 이유는 컨슈머는 언제나 컨슈머 그룹을 leave/join 할 수 있는데, 그 과정에서 새롭게 join 된 consumer가 메시지를 읽을 수 있어야 하기 때문입니다. 그룹 코디네이터 그룹 코디네이터의 역할은 컨슈머 그룹을 관리합니다. 주로 리밸런싱 과정을 통해 컨슈머 그룹내 컨슈머들을 관리합니다.