PgDog

PgDog: PostgreSQL 수평 확장을 위한 통합 프록시 및 샤딩 솔루션

오늘날 데이터 집약적인 애플리케이션을 운영하는 기업들에게 PostgreSQL의 확장성은 가장 중요한 과제 중 하나입니다. PgDog은 이러한 문제를 해결하기 위해 탄생한 차세대 PostgreSQL 프록시로, 연결 풀링(Connection Pooling), 로드 밸런싱(Load Balancing), 그리고 분산 데이터베이스(Sharding) 기능을 단일 실행 파일에 담아낸 혁신적인 솔루션입니다.

PgDog을 도입하면 애플리케이션 코드를 수정하지 않고도 데이터베이스를 N배로 확장할 수 있으며, 클라우드나 온프레미스 등 어디에나 신속하게 배포할 수 있습니다.

What's PgDog?

PgDog은 PostgreSQL을 위한 고성능 드롭인(Drop-in) 프록시입니다. 단순한 연결 풀러를 넘어, 데이터베이스 계층의 지능형 관리자 역할을 수행합니다. PgDog은 수만 개의 클라이언트 연결을 효율적으로 관리하고, 읽기/쓰기 트래픽을 지능적으로 분산하며, 복잡한 샤딩 로직을 프록시 계층에서 처리함으로써 데이터베이스 운영의 복잡성을 획기적으로 줄여줍니다.

현재 PgDog은 실제 운영 환경에서 20TB 이상의 샤딩된 데이터와 **초당 200만 건 이상의 쿼리(Queries/s)**를 성공적으로 처리하며 그 안정성을 입증하고 있습니다.

Features

PgDog은 현대적인 데이터 아키텍처에 필요한 세 가지 핵심 도구를 하나로 통합했습니다.

1. 차세대 연결 풀러 (Connection Pooler)

PgDog은 트랜잭션 모드에서 탁월한 성능을 발휘합니다. 단 몇 개의 PostgreSQL 실제 연결만으로도 100,000개 이상의 클라이언트를 동시에 수용할 수 있습니다.

• 세션 상태 유지: SET 명령, 자문 잠금(Advisory Locks), LISTEN/NOTIFY 등을 지원하면서도 연결 고정(Pinning) 현상을 방지합니다.
• 멀티스레드 및 비동기 아키텍처: 스레드당 초당 50,000건 이상의 트랜잭션을 처리하며, 쿼리 길이나 연결 수에 제한이 없습니다.
• Prepared Statements 호환성: 모든 클라이언트 드라이버와 호환되며 추가적인 오버헤드 없이 최적의 성능을 제공합니다.

2. 데이터베이스를 위한 지능형 로드 밸런서 (Load Balancer)

PgDog은 데이터베이스 계층의 ALB(Application Load Balancer) 역할을 수행하여 고가용성을 보장합니다.

• 상태 확인(Health Checks): 응답이 늦거나 오류가 발생한 복제본(Replica)을 자동으로 감지하여 쿼리 할당에서 제외합니다.
• 장애 조치 감지(Failover Detection): 구성 파일 수정 없이도 새로운 기본(Primary) 서버로 쓰기 트래픽을 자동으로 이동시킵니다.
• 읽기/쓰기 분리: 내부 PostgreSQL SQL 파서를 사용하여 SELECT 쿼리는 복제본으로, 그 외의 쿼리는 기본 서버로 자동 라우팅합니다.

3. 코드 수정 없는 분산 데이터베이스 (Distributed Database & Sharding)

PgDog은 애플리케이션 계층의 로직 변경 없이도 PostgreSQL 샤딩을 구현할 수 있게 해줍니다.

• 자동 샤딩 키 추출: 쿼리에서 직접 샤딩 키를 파싱하여 적절한 샤드로 요청을 보냅니다. 샤딩 키가 없는 쿼리는 모든 데이터베이스에서 병렬로 실행되는 Scatter/Gather 방식으로 처리됩니다.
• 고성능 OLTP 및 OLAP 지원: 수평 확장 가능한 코디네이터를 통해 일반적인 Postgres처럼 사용 가능하며, GROUP BY, COUNT(), AVG(), ORDER BY 등 복잡한 집계 작업도 즉시 지원합니다.
• 유연한 배포: 표준 Postgres 데이터 타입과 호환되며, 설정 중심의 데이터 분산 아키텍처를 제공합니다.

4. 강력한 데이터 일관성과 ACID 준수

PgDog은 성능을 위해 데이터 무결성을 타협하지 않습니다.

• 교차 샤드 트랜잭션: 2단계 커밋(2PC)과 네이티브 Postgres 준비된 트랜잭션을 사용하여 여러 샤드에 걸친 데이터를 원자적으로 기록합니다.
• 복제된 테이블 (Replicated Tables): 모든 테이블을 샤딩할 필요는 없습니다. 자주 참조되는 데이터를 모든 샤드에 복제하여 로컬 조인(Join) 성능을 극대화할 수 있습니다.
• 자동 정수 기본 키: UUID로 전환할 필요 없이 PgDog 프록시에서 자동으로 생성되는 큰 정수(Bigint) 기본 키를 사용할 수 있습니다.
• 일관된 스키마 관리: DDL 명령이 모든 샤드에 자동으로 적용되며, Alembic이나 ActiveRecord와 같은 기존 마이그레이션 도구와 완벽하게 호환됩니다.

Use Case

PgDog은 다양한 산업 분야에서 복잡한 데이터 확장 문제를 해결하는 데 사용되고 있습니다.

• 대규모 SaaS 플랫폼: 수천 개의 테넌트 데이터를 샤딩하여 관리하고, 애플리케이션 수준의 복잡한 샤딩 로직을 PgDog 설정으로 이전하여 쿼리 속도를 향상시킨 사례가 있습니다. (Earth Genome)
• 금융 및 결제 시스템: RDS Proxy보다 월등한 연결 확장성을 확보하여 시스템 병목 현상을 제거하고 안정적인 가동 시간을 유지합니다. (Ramp)
• 대용량 데이터 수집: 초당 수백만 건의 데이터 인프라 환경에서 100% 업타임을 기록하며 데이터를 안정적으로 처리합니다. (Tripstack)
• 클라우드 인프라 확장: 수천 개의 파드(Pods)가 실행되는 환경에서 유연한 데이터베이스 연결 관리를 위해 도입되었습니다. (Modal)

How to Use

PgDog은 설치와 배포가 매우 간편합니다. Helm을 사용하여 Kubernetes 환경에 빠르게 배포할 수 있습니다.

Helm을 이용한 설치

먼저 PgDog의 Helm 레포지토리를 추가합니다.

helm repo add pgdogdev https://helm.pgdog.dev

그 다음, PgDog을 설치합니다.

helm install pgdog pgdogdev/pgdog

설정 예시 (pgdog.toml)

샤딩과 로드 밸런싱을 설정하는 방법도 직관적입니다.

# 로드 밸런싱 설정 예시
[[databases]]
name = "prod"
host = "10.0.0.1"
role = "primary"

[[databases]]
name = "prod"
host = "10.0.0.2"
role = "replica"

# 샤딩 설정 예시
[[sharded_tables]]
database = "prod"
column = "tenant_id"

FAQ

Q: PgDog을 사용하려면 애플리케이션 코드를 수정해야 하나요?

A: 아니요. PgDog은 드롭인 프록시로 설계되어 기존의 libpq, pgx, asyncpg, ruby-pg 등 표준 PostgreSQL 드라이버를 그대로 사용할 수 있습니다.

Q: 샤딩된 환경에서도 트랜잭션이 보장되나요?

A: 네. PgDog은 교차 샤드 트랜잭션을 지원하며, 2단계 커밋(Two-phase commit)을 통해 원자성과 일관성을 유지합니다. 오류 발생 시 자동으로 롤백이 수행됩니다.

Q: 기존 마이그레이션 도구와 호환되나요?

A: 네. Alembic, ActiveRecord 마이그레이션 등 표준 도구들이 기본적으로 작동하며, DDL 명령은 PgDog을 통해 모든 샤드에 일관되게 적용됩니다.

Q: 어느 정도의 성능 향상을 기대할 수 있나요?

A: PgDog은 단일 스레드에서 초당 50,000건 이상의 트랜잭션을 처리할 수 있으며, 로드 밸런싱을 통해 읽기 부하를 분산하고 샤딩을 통해 쓰기 용량을 무한히 확장할 수 있습니다.

PgDog은 PostgreSQL 생태계에 신선한 공기를 불어넣는 솔루션입니다. 이제 데이터베이스의 한계에 부딪히지 말고, PgDog과 함께 비즈니스를 무한히 확장해 보세요.