보호되어 있는 글입니다.
Kafka Connect SMT 멀티레포를 Git Submodule로 관리하면서,각 모듈을 개별로 개발 및 빌드 가능하게 유지하고,전체 통합(fat-jar) 빌드와 자동 배포까지 가능한 구조📦 전체 구조 요약📁 smt-core.git ← 공통 유틸 (JSON, logging 등)📁 smt-mask-email.git ← SMT 기능 A (email 마스킹)📁 smt-http-lookup.git ← SMT 기능 B (HTTP enrich)📁 smt-all.git ← 통합 레포 (submodule로 모든 모듈 포함 + fat-jar 빌드)🧱 1. 레포 연결 (Git Submodule 구성)smt-all 레포에서 아래처럼 설정:g..
✅ Kafka REST API 종류별 비교종류이름역활 Kafka or Kafka Connect 1. Confluent Kafka REST Proxykafka-restKafka Producer/Consumer 역할을 HTTP API로 제공Kafka 핸들링2. Kafka Connect REST API내장 REST API (/connectors, /tasks, 등)Kafka Connect 설정 및 관리Kafka Connect 핸들링3. Kafka Connect with REST Source Connectorhttp-source-connector 등외부 API → Kafka로 메시지 수집Kafka Connect에서 Kafka 핸들링🔍 상세 설명1. Kafka REST Proxy (Confluent 제공)Kaf..
APISIX + Lua (LUR: Lua Runtime) + RESTHeart 조합으로, API Gateway 단계에서 MongoDB REST API를 이용해 조회/등록/삭제/수정✅ 구조 개요APISIX에서 Lua 플러그인을 이용하여 RESTHeart에 HTTP 요청을 보내고, 결과를 클라이언트에 전달하는 방식입니다:[Client] ---> [APISIX + Lua Plugin] ---> [RESTHeart (MongoDB REST API)]1. APISIX Lua 플러그인 예제 구성1-1. 기본 구조 (rest-crud.lua)local http = require("resty.http")local cjson = require("cjson.safe")local _M = {}function _M.acces..
개요Apache APISIX는 Lua로 작성된 플러그인을 통해 요청 처리를 확장할 수 있는 API 게이트웨이입니다. 이 튜토리얼에서는 APISIX Lua 플러그인을 사용하여 RESTHeart를 통해 MongoDB 데이터를 조회하고, 그 결과를 Kafka 또는 외부 REST API로 전달하는 방법을 다룹니다. RESTHeart는 MongoDB에 대한 REST 인터페이스로, HTTP 요청으로 MongoDB 데이터를 손쉽게 조회할 수 있습니다.우리는 플러그인에서 RESTHeart API를 호출하여 JSON 형식의 데이터를 얻은 뒤, 이 데이터의 일부 필드를 추출하여 (1) Kafka 브로커로 전송하거나 (2) 외부 HTTP 서비스에 POST/PUT으로 보낼 것입니다. 각 방식마다 Lua 코드 예제와 함께 필요..