Confluent에서 제공하는 JDBC Connector를 사용하기 위해 아래 사이트로 접속한다. Confluent Hub Client | Confluent Documentation Confluent Hub Client The Confluent Hub client is a command line tool that makes it easy to install and update components from Confluent Hub into a local Confluent Platform installation. Installing Confluent Hub Client The Confluent Hub client is natively i docs.confluent.io 라이센스는 Confluent Commu..

Confluent사에서 제공하는 카프카 커넥트 컨셉 문서를 통해서 Connect에 대해서 배운 내용을 기록합니다. Kafka Connect Concepts | Confluent Documentation Kafka Connect Concepts Kafka Connect is a framework to stream data into and out of Apache Kafka®. The Confluent Platform ships with several built-in connectors that can be used to stream data to or from commonly used systems such as relational databases o docs.confluent.io 부족한 부분이나 잘못..

Producer가 발생시킨 메세지를 발생한 순서에 따라 Consumer가 얻을 수 있을까??? 구글링해보면 Topic내의 파티션 간에는 순서가 보장되지 않으며, 파티션내에선 순서를 보장한다고 한다. 한번 테스트 해보자. Kafka의 Config 폴더로 이동해서 server.properties를 연다. Kafka에 대한 각종 설정을 할수 있늗네 여기서 num.partitions를 1로 셋팅한다. topic을 생성할 때 기본적으로 셋팅되는 partition 갯수를 1로 셋팅한다는 의미다. sample-topic1 토픽을 생성하고 실제로 partition이 1개 인지 확인한다. 2개의 Producer와 1개의 Consumer를 사용한다. 전체적인 구조는 아래와 같다. 먼저 1번 Producer를 실행해서 아래..

설정파일 작성 ZooKeeper를 설치하고 zoo.cfg 설정파일을 작성한다. zoo.cfg 파일은 conf폴더 하위에 작성한다. 총 3대의 서버를 사용한다. 각 서버의 hostname은 zk-server1, zk-server2, zk-server3으로 했다. ( 모든 서버에 zoo.cfg 파일을 작성한다. ) 설정들의 의미를 살펴본다. tickTime client와 연결을 확인하기 위해 주기적으로 client에 연결확인 요청을 보내는데 그 주기를 tickTime이라고 한다. 단위는 밀리세컨드이다. 위에선 2000ms(2초)로 셋팅했다. 셋팅된 시간의 2배를 초과할 경우 세션 timeout이 발생한다. dataDir 메모리 저장된 정보의 스냅샷 또는 트랜잭션 로그 등을 기록하기 위한 경로. clientP..

구조 VMware를 이용해 5대의 서버를 생성했다. 서버 생성에서 문제가 있었는데 현재 PC의 메모리로는 5대까지만 가상머신 생성이 가능했다. 덕분에 ZooKeeper 앙상블은 서버3대를 사용해놓고, Kafka 클러스트에는 서버 1대만 사용할 수 밖에 없었다. ( 다음에는 ZooKeeper를 standalone으로 두고 Kafka를 좀 더 괴롭혀봐야겠다... ㅎ ) 사실 대부분의 테스트 구축에서는 ZooKeeper Server와 Kafka Server를 같은 서버에 두는데 운영과 비슷하게 해보려다 이런 참사(?)가 벌어졌다. 아무튼 서버별 기능을 정리해보자면 아래와 같다. ( 5대 ) 192.168.47.128, 192.168.47.192, 192.168.47.130 서버 3대는 ZooKeeper 서버 ..

헷갈리는 IoC와 DI에 대한 개념을 정리합니다. Wiki에서 알려주는 Inversion of Control의 역사 Inversion of Control이라는 용어는 Michael Mattsson의 논문에서 처음으로 언급되었으며, Stefano Mazzocchi가1999년에 아파치 소프트웨어 재단 프로젝트에서 인용하면서 유명세를 탓다. 그 후 2004년 Robert C. Martin과 Martin Fowler에 의해 더욱 대중에게 알려지게 된다. Inversion of Control 마틴 파울러가 작성한 Inversion of Control을 읽다가 너무 안읽혀서 그냥 Stack Overflow에서 정답에 가까운 답변을 종합해서 작성했다. Inversion of Control은 상당히 범용적으로 쓰이는 ..