Kafka REST API 종류별 비교

 

✅ Kafka REST API 종류별 비교

종류	이름	역활	Kafka or Kafka Connect
1. Confluent Kafka REST Proxy	kafka-rest	Kafka Producer/Consumer 역할을 HTTP API로 제공	Kafka 핸들링
2. Kafka Connect REST API	내장 REST API (/connectors, /tasks, 등)	Kafka Connect 설정 및 관리	Kafka Connect 핸들링
3. Kafka Connect with REST Source Connector	http-source-connector 등	외부 API → Kafka로 메시지 수집	Kafka Connect에서 Kafka 핸들링

---

🔍 상세 설명

1. Kafka REST Proxy (Confluent 제공)

• Kafka Producer / Consumer를 HTTP로 래핑
• Kafka topic에 메시지 POST, GET, DELETE 가능
• Avro/JSON/Protobuf 지원 (Schema Registry 연동)

🔗 주요 엔드포인트

POST /topics/my-topic
GET  /topics/my-topic/partitions

✅ Kafka 자체 메시지 핸들링이 목적입니다.

---

2. Kafka Connect REST API

• Kafka Connect 노드를 제어하는 관리용 API
• 커넥터 등록, 수정, 상태 조회 등에 사용

🔗 예:

POST /connectors          # 커넥터 생성
GET  /connectors          # 커넥터 목록
GET  /connectors/my-sink/status

✅ Kafka Connect의 설정 및 라이프사이클 관리가 목적입니다.

---

3. Kafka Connect REST Source Connector

• 외부 HTTP API 데이터를 Kafka로 가져오는 커넥터
• (예: Landoop HTTP Source Connector)
• REST → Kafka 흐름

✅ Kafka Connect를 통해 Kafka를 간접적으로 핸들링합니다.
(즉, 데이터 수집 도구로써 Kafka를 활용)

---

🧭 결론

REST로 Kafka에 메시지 보내기	✅ Kafka REST Proxy
커넥터 생성/관리/상태조회	✅ Kafka Connect REST API
외부 REST API → Kafka로 수집	✅ Kafka Connect + REST Source Connector