Architecture du moteur et intégrité des données
Filament implémente un pipeline de déplacement de données conçu pour gérer l'ingestion depuis des bases de données, API, flux d'événements et stockage objet vers des entrepôts de données et lakehouses cibles.
Pour protéger l'intégrité des données lors des transferts, le moteur hache chaque enregistrement en lecture et en écriture en utilisant CRC32-C. Les lots échouent automatiquement si les nombres d'enregistrements, le total d'octets ou les sommes de contrôle calculées ne correspondent pas entre les points de terminaison.
La plateforme est construite avec une conception enfichable permettant aux opérateurs de sélectionner et d'échanger des backends pour la gestion d'état, la coordination d'événements et le stockage de secrets sans modifier les configurations de pipeline.
- Hache tous les enregistrements en lecture et écriture via des sommes de contrôle CRC32-C
- Impose l'échec des lots en cas de non-correspondance des nombres d'enregistrements, des nombres d'octets ou des sommes de contrôle
- Découple les définitions de pipeline des backends d'état, d'événements et de secrets
- Connecte les sources d'entrée aux destinations incluant Snowflake, BigQuery, ClickHouse et Iceberg