PgDog

PgDog: Schaal PostgreSQL naar Ongekende Hoogten

In de moderne wereld van softwareontwikkeling is het schalen van databases vaak een van de grootste uitdagingen. PostgreSQL is een krachtige database, maar het horizontaal schalen ervan kan complex en risicovol zijn. Hier komt PgDog in beeld. Met een onlangs opgehaalde seed-ronde van $5,5 miljoen is PgDog hard op weg om de standaard te worden voor het schalen van PostgreSQL.

PgDog is een krachtige connection pooler, load balancer en gedistribueerde database-oplossing verpakt in één enkel uitvoerbaar bestand dat overal ingezet kan worden. Het fungeert als een drop-in proxy, wat betekent dat er geen wijzigingen in uw applicatie nodig zijn om te profiteren van de enorme schaalbaarheid die PgDog biedt.

Wat is PgDog?

PgDog is ontworpen om PostgreSQL-databases n keer te schalen. Het is een proxy-laag die tussen uw applicatie en uw database-clusters zit. In productieomgevingen verwerkt PgDog al meer dan 2 miljoen queries per seconde en beheert het meer dan 20 TB aan gesharde data.

Het unieke aan PgDog is de veelzijdigheid. Waar u voorheen verschillende tools nodig had voor pooling, load balancing en sharding, combineert PgDog deze functies in één robuust systeem. Het is compatibel met populaire drivers zoals asyncpg, pgx, libpq en ruby-pg, en kan eenvoudig worden geïmplementeerd via Docker of Helm.

Belangrijkste Kenmerken van PgDog

PgDog onderscheidt zich door drie kernfunctionaliteiten die naadloos samenwerken om uw database-infrastructuur te optimaliseren.

1. Geavanceerde Connection Pooler

De connection pooler van PgDog ondersteunt een echte transactiemodus. Dit stelt PgDog in staat om slechts enkele PostgreSQL-verbindingen te delen tussen meer dan 100.000 clients, zonder dat dit ten koste gaat van essentiële Postgres-functies.

• Sessiestatus: PgDog ondersteunt SET-commando's, advisory locks en LISTEN/NOTIFY zonder dat er "connection pinning" nodig is.
• Multi-threaded en Async: De architectuur ondersteunt meer dan 50.000 transacties per seconde per thread, zonder limieten op query-lengte of het aantal verbindingen.
• Prepared Statements: Volledig compatibel met alle client-drivers met nul overhead.

2. Intelligente Load Balancer

Beschouw PgDog als een Application Load Balancer (ALB) voor uw database. Het verdeelt leesverzoeken over replica's en bewaakt continu de gezondheid van uw systeem.

• Health Checks: Blokkeer automatisch verouderde of defecte replica's zodat ze geen queries meer ontvangen.
• Failover Detectie: PgDog detecteert wanneer een primaire database uitvalt en verplaatst het schrijfverkeer direct naar de nieuwe primaire server, zonder dat er configuratiewijzigingen nodig zijn.
• Read/Write Split: SELECT-queries worden intelligent naar replica's gerouteerd, terwijl alle andere transacties naar de primary gaan. Dit gebeurt via een interne Postgres SQL-parser voor maximale compatibiliteit.

3. Gedistribueerde Database & Sharding

Met PgDog kunt u PostgreSQL sharden zonder uw applicatie aan te passen. De proxy haalt de sharding-key direct uit de queries en stuurt deze naar de juiste shard.

• Fast OLTP: Gebruik gesharde databases net zoals een standaard Postgres-instantie, ondersteund door een horizontaal schaalbare coördinator.
• Fast OLAP: Functies zoals GROUP BY, COUNT(), AVG(), ORDER BY, MIN(), MAX() en COPY worden direct ondersteund. PgDog fungeert hierbij als een krachtige scatter/gather engine.
• Flexibele Distributie: Shard op basis van elke gewenste kolom met een configuratiegestuurde aanpak die compatibel is met standaard Postgres-datatyperingen.

Gedistribueerd, Consistent en Relationeel

PgDog doet geen concessies op het gebied van consistentie voor snelheid. Het handhaaft volledige ACID-compliance, zelfs op schaal.

"PgDog onderhoudt ACID-compliance op schaal door gebruik te maken van native Postgres prepared transactions en two-phase commit (2PC) voor cross-shard transacties."

Enkele technische voordelen zijn:

• Cross-shard Transacties: Schrijf data atomair naar alle shards. Bij een fout wordt er automatisch een rollback uitgevoerd.
• Gerepliceerde Tabellen: Niet alle tabellen hoeven geshard te worden. U kunt veelgebruikte data op alle shards opslaan voor snelle, lokale joins.
• Integer Primary Keys: U hoeft niet over te stappen op UUID's. PgDog ondersteunt monotone, big integer primary keys die automatisch in de proxy worden gegenereerd.
• Consistent Schema: DDL-wijzigingen worden automatisch over alle shards uitgevoerd. Migratietools zoals Alembic en ActiveRecord werken direct uit de doos.

Hoe PgDog te Gebruiken

Het installeren van PgDog is eenvoudig en ontworpen voor moderne cloud-native omgevingen. U kunt PgDog snel implementeren met Helm:

1. Voeg de PgDog Helm-repository toe:

   helm repo add pgdogdev https://helm.pgdog.dev
   

2. Installeer PgDog in uw cluster:

   helm install pgdog pgdogdev/pgdog
   

Daarnaast kunt u PgDog configureren via een eenvoudig pgdog.toml bestand, waarin u databases, rollen (primary/replica) en sharding-regels definieert.

Gebruiksscenario's (Use Cases)

PgDog wordt in diverse high-performance omgevingen ingezet:

• High-Traffic Applicaties: Bedrijven zoals Modal gebruiken duizenden pods en vertrouwen op PgDog om hun verbindingen op schaal te beheren.
• Grootschalige Data-ingestie: Voor organisaties zoals Tripstack is PgDog essentieel voor 100% uptime tijdens het verwerken van enorme hoeveelheden data.
• Complexe Sharding: Earth Genome verplaatste complexe geospatiale sharding-logica van de applicatielaag naar de PgDog-configuratie, wat resulteerde in snellere queries en eenvoudiger onderhoud voor hun 4 miljard rijen.
• Database Bottlenecks Verwijderen: Bedrijven zoals Ramp gebruiken PgDog om de beperkingen van standaardoplossingen zoals RDS Proxy te overwinnen, vooral wat betreft schaalbaarheid van verbindingen.

FAQ (Veelgestelde Vragen)

V: Moet ik mijn applicatiecode wijzigen om PgDog te gebruiken? A: Nee, PgDog is een drop-in PostgreSQL-proxy. Uw applicatie communiceert met PgDog alsof het een standaard PostgreSQL-database is.

V: Ondersteunt PgDog voorbereide statements (prepared statements)? A: Ja, PgDog is volledig compatibel met alle client-drivers voor prepared statements met nul overhead.

V: Hoe gaat PgDog om met database-fouten? A: PgDog beschikt over automatische failover-detectie. Het herkent wanneer een primaire database niet meer beschikbaar is en verplaatst het verkeer naar de nieuwe primaire server.

V: Is PgDog geschikt voor zowel OLTP als OLAP? A: Absoluut. Voor OLTP biedt het snelle, gesharde toegang en voor OLAP fungeert het als een scatter/gather engine die complexe aggregaties over meerdere shards parallel uitvoert.

V: Kan ik gesharde data updaten? A: Ja, PgDog ondersteunt zelfs het muteren van sharding-keys, waarbij rijen tussen shards worden verplaatst met eenvoudige UPDATE-statements.