Filament by Galaxy
Galaxyが開発したFilamentは、CRC32-C検証とプラグ可能なバックエンドを備え、データベース、API、ストリーム、オブジェクトストレージから分析シンクへレコードを転送するために設計されたオープンソースのデータ移動エンジンです。
Galaxyが開発したFilamentは、CRC32-C検証とプラグ可能なバックエンドを備え、データベース、API、ストリーム、オブジェクトストレージから分析シンクへレコードを転送するために設計されたオープンソースのデータ移動エンジンです。
製品の機能と公式な位置づけ
GalaxyのFilamentは、データエンジニアが多様なインフラストラクチャ間で情報を移動できるように設計されたオープンソースのデータ移動エンジンです。本システムは、データベース、API、イベントストリーム、オブジェクトストレージなどのソースからのデータを単一パイプライン経由でルーティングし、Snowflake、BigQuery、ClickHouse、Icebergなどのターゲット宛先に送り届けます。
このエンジンは、既存のパイプラインを変更することなく状態、イベント、シークレット用のバックエンドを設定および交換できるプラグ可能アーキテクチャを備えています。データの完全性を確保するため、Filamentは読み取りと書き込みのサイクル中にすべてのレコードに対してCRC32-Cハッシュを適用し、件数、バイト総量、またはチェックサムが一致しない場合にバッチを失敗させます。
公式情報で確認できる活用例
運用データベースやオブジェクトストレージファイルから、Snowflake、BigQuery、ClickHouse、Icebergなどの分析シンクへ表形式のレコードを移動します。
CRC32-Cチェックサム、バイト総数、レコード数によるバッチレベルの検証を強制しながら、APIやストリーミングソースからデータをレプリケーションします。
Filamentは、データベース、API、イベントストリーム、オブジェクトストレージからターゲットのデータウェアハウスやレイクハウスへの取り込みを処理するように設計されたデータ移動パイプラインを実装しています。
転送全体のデータ完全性を保護するため、エンジンはCRC32-Cを使用して読み取り時と書き込み時にすべてのレコードをハッシュ化します。エンドポイント間でレコード数、合計バイト数、または計算されたチェックサムが一致しない場合、バッチは自動的に失敗します。
このプラットフォームはプラグ可能な設計で構築されており、運用担当者はパイプライン構成を変更することなく、状態管理、イベント連携、シークレットストレージのバックエンドを選択および交換できます。
自分の素材とワークフローで確認したい項目
確認した情報源とその日時
情報源を確認した製品情報に基づく回答
Filamentは、データエンジニアがインフラストラクチャパイプライン全体でレコードを移動できるようにGalaxyによって開発されたオープンソースのデータ移動エンジンです。
Filamentは、データベース、アプリケーションプログラミングインターフェース(API)、イベントストリーム、およびオブジェクトストレージに保存されているファイルからのデータ取り込みをサポートしています。
Filamentは、パイプラインを通じてSnowflake、BigQuery、ClickHouse、Apache Icebergなどの分析シンクへデータを着信・格納することをサポートしています。
FilamentはCRC32-Cを使用して読み取り時と書き込み時にすべてのレコードをハッシュ化し、レコード数、合計バイト数、チェックサムが一致しない限り自動的にバッチを失敗させます。
Filamentはプラグ可能なアーキテクチャを備えており、パイプラインを変更することなくユーザーが状態、イベント、シークレット用のバックエンドを選択および交換できるようにしています。