소스커넥터(2)
-
Source Connector Offset 초기화 하기
이전에 게시글을 작성하면서 Source Connector에서 특징을 발견했다. ( Source Connector의 모드는 Increment ) Source Connector 생성 하기 ( feat. Topic 자동생성 ) Kafka Connect는 하나의 서비스 형태로 구동되기 때문에 REST방식의 Connector 관리가 가능하다. worker 설정파일에 별다른 셋팅을 하지 않았다면 8083포트를 통해서 Connector 생성 요청이 가능하다. REST방식 soojong.tistory.com Source Connector를 Delete하고 똑같은 이름의 Source Connector를 생성하는 작업을 수행했었다. Connector의 이름이 같긴하지만 Delete를 하고 새로운 Source Connect..
2021.05.27 -
Source Connector 생성 하기 ( feat. Topic 자동생성 )
Kafka Connect는 하나의 서비스 형태로 구동되기 때문에 REST방식의 Connector 관리가 가능하다. worker 설정파일에 별다른 셋팅을 하지 않았다면 8083포트를 통해서 Connector 생성 요청이 가능하다. REST방식을 사용함으로써 프로그램을 멈추지 않고도 상태확인이나, 수정 및 생성이 자유롭다는 장점을 가진다. (시작할때부터 커맨드라인에 사용할 커넥터를 미리 정의할 필요가 없다. ) 문서에 따르면 현재 content-type은 application/json 방식만 지원한다. Database 셋팅 사용한 DB는 MariaDB이며, Source Connector가 읽어올 user라는 테이블을 생성했다. PK는 id. Source Connector 설정 REST 방식으로 Source ..
2021.05.22