지난 시간에 이어 이번엔 Consumer를 Java로 구현해본다. Segment 삭제 peter-basic01을 Consume하면 Topic에 존재하는 모든 레코드가 출력된다. 이전 포스트에서 peter-basic01로 3건의 Record를 보냈기 때문에 새로운 Consumer가 Partition의 0번째 offset부터 모두 읽어오는 모습이다. 원할한 테스트를 위해서 Partition에 있는 레코드를 모두 지워보도록 하자. Topic에 있는 Partition으로 레코드가 들어오면 Segment라는 파일에 저장된다. Segment 확인을 위해서 /data/kafka-logs 경로로 이동한다. 이전에 peter-basic01 Topic을 생성했기 때문에 peter-basic01-0 디렉토리가 존재하는것을 ..

고승범님의 [실전 카프카 개발부터 운영까지]에는 Producer의 동작을 Java로 구현한 예제가 있다. 다만 여기서 실제 동작하는 모습은 보여주지 않아 직접 실행해보기로 했다. Producer의 구조나 작동원리는 책에 잘 설명되어 있으니 생략! 실전 카프카 개발부터 운영까지 - YES24 아파치 카프카의 공동 창시자 준 라오(Jun Rao)가 추천한 책!국내 최초이자 유일한 컨플루언트 공인 아파치 카프카 강사(Confluent Certified Trainer for Apache Kafka)와 공인 관리자 자격(Confluent Certified... www.yes24.com 테스트를 위한 Topic과 Consumer 생성하기 아래 명령어를 통해 peter-basic01이라는 이름을 가지는 Topic을 ..

이전에 게시글을 작성하면서 Source Connector에서 특징을 발견했다. ( Source Connector의 모드는 Increment ) Source Connector 생성 하기 ( feat. Topic 자동생성 ) Kafka Connect는 하나의 서비스 형태로 구동되기 때문에 REST방식의 Connector 관리가 가능하다. worker 설정파일에 별다른 셋팅을 하지 않았다면 8083포트를 통해서 Connector 생성 요청이 가능하다. REST방식 soojong.tistory.com Source Connector를 Delete하고 똑같은 이름의 Source Connector를 생성하는 작업을 수행했었다. Connector의 이름이 같긴하지만 Delete를 하고 새로운 Source Connect..

Kafka Connect는 하나의 서비스 형태로 구동되기 때문에 REST방식의 Connector 관리가 가능하다. worker 설정파일에 별다른 셋팅을 하지 않았다면 8083포트를 통해서 Connector 생성 요청이 가능하다. REST방식을 사용함으로써 프로그램을 멈추지 않고도 상태확인이나, 수정 및 생성이 자유롭다는 장점을 가진다. (시작할때부터 커맨드라인에 사용할 커넥터를 미리 정의할 필요가 없다. ) 문서에 따르면 현재 content-type은 application/json 방식만 지원한다. Database 셋팅 사용한 DB는 MariaDB이며, Source Connector가 읽어올 user라는 테이블을 생성했다. PK는 id. Source Connector 설정 REST 방식으로 Source ..

Confluent에서 제공하는 JDBC Connector를 사용하기 위해 아래 사이트로 접속한다. Confluent Hub Client | Confluent Documentation Confluent Hub Client The Confluent Hub client is a command line tool that makes it easy to install and update components from Confluent Hub into a local Confluent Platform installation. Installing Confluent Hub Client The Confluent Hub client is natively i docs.confluent.io 라이센스는 Confluent Commu..

Confluent사에서 제공하는 카프카 커넥트 컨셉 문서를 통해서 Connect에 대해서 배운 내용을 기록합니다. Kafka Connect Concepts | Confluent Documentation Kafka Connect Concepts Kafka Connect is a framework to stream data into and out of Apache Kafka®. The Confluent Platform ships with several built-in connectors that can be used to stream data to or from commonly used systems such as relational databases o docs.confluent.io 부족한 부분이나 잘못..