이전에 게시글을 작성하면서 Source Connector에서 특징을 발견했다. ( Source Connector의 모드는 Increment ) Source Connector 생성 하기 ( feat. Topic 자동생성 ) Kafka Connect는 하나의 서비스 형태로 구동되기 때문에 REST방식의 Connector 관리가 가능하다. worker 설정파일에 별다른 셋팅을 하지 않았다면 8083포트를 통해서 Connector 생성 요청이 가능하다. REST방식 soojong.tistory.com Source Connector를 Delete하고 똑같은 이름의 Source Connector를 생성하는 작업을 수행했었다. Connector의 이름이 같긴하지만 Delete를 하고 새로운 Source Connect..

Kafka Connect는 하나의 서비스 형태로 구동되기 때문에 REST방식의 Connector 관리가 가능하다. worker 설정파일에 별다른 셋팅을 하지 않았다면 8083포트를 통해서 Connector 생성 요청이 가능하다. REST방식을 사용함으로써 프로그램을 멈추지 않고도 상태확인이나, 수정 및 생성이 자유롭다는 장점을 가진다. (시작할때부터 커맨드라인에 사용할 커넥터를 미리 정의할 필요가 없다. ) 문서에 따르면 현재 content-type은 application/json 방식만 지원한다. Database 셋팅 사용한 DB는 MariaDB이며, Source Connector가 읽어올 user라는 테이블을 생성했다. PK는 id. Source Connector 설정 REST 방식으로 Source ..

Confluent에서 제공하는 JDBC Connector를 사용하기 위해 아래 사이트로 접속한다. Confluent Hub Client | Confluent Documentation Confluent Hub Client The Confluent Hub client is a command line tool that makes it easy to install and update components from Confluent Hub into a local Confluent Platform installation. Installing Confluent Hub Client The Confluent Hub client is natively i docs.confluent.io 라이센스는 Confluent Commu..

Confluent사에서 제공하는 카프카 커넥트 컨셉 문서를 통해서 Connect에 대해서 배운 내용을 기록합니다. Kafka Connect Concepts | Confluent Documentation Kafka Connect Concepts Kafka Connect is a framework to stream data into and out of Apache Kafka®. The Confluent Platform ships with several built-in connectors that can be used to stream data to or from commonly used systems such as relational databases o docs.confluent.io 부족한 부분이나 잘못..

Producer가 발생시킨 메세지를 발생한 순서에 따라 Consumer가 얻을 수 있을까??? 구글링해보면 Topic내의 파티션 간에는 순서가 보장되지 않으며, 파티션내에선 순서를 보장한다고 한다. 한번 테스트 해보자. Kafka의 Config 폴더로 이동해서 server.properties를 연다. Kafka에 대한 각종 설정을 할수 있늗네 여기서 num.partitions를 1로 셋팅한다. topic을 생성할 때 기본적으로 셋팅되는 partition 갯수를 1로 셋팅한다는 의미다. sample-topic1 토픽을 생성하고 실제로 partition이 1개 인지 확인한다. 2개의 Producer와 1개의 Consumer를 사용한다. 전체적인 구조는 아래와 같다. 먼저 1번 Producer를 실행해서 아래..

설정파일 작성 ZooKeeper를 설치하고 zoo.cfg 설정파일을 작성한다. zoo.cfg 파일은 conf폴더 하위에 작성한다. 총 3대의 서버를 사용한다. 각 서버의 hostname은 zk-server1, zk-server2, zk-server3으로 했다. ( 모든 서버에 zoo.cfg 파일을 작성한다. ) 설정들의 의미를 살펴본다. tickTime client와 연결을 확인하기 위해 주기적으로 client에 연결확인 요청을 보내는데 그 주기를 tickTime이라고 한다. 단위는 밀리세컨드이다. 위에선 2000ms(2초)로 셋팅했다. 셋팅된 시간의 2배를 초과할 경우 세션 timeout이 발생한다. dataDir 메모리 저장된 정보의 스냅샷 또는 트랜잭션 로그 등을 기록하기 위한 경로. clientP..