Filament by Galaxy
Galaxy의 Filament는 데이터베이스, API, 스트림, 객체 스토리지의 레코드를 플러그형 백엔드 및 CRC32-C 검증을 통해 분석용 싱크로 전송하도록 설계된 오픈 소스 데이터 이동 엔진입니다.
Galaxy의 Filament는 데이터베이스, API, 스트림, 객체 스토리지의 레코드를 플러그형 백엔드 및 CRC32-C 검증을 통해 분석용 싱크로 전송하도록 설계된 오픈 소스 데이터 이동 엔진입니다.
제품의 기능과 공식 포지셔닝
Galaxy의 Filament는 데이터 엔지니어가 다양한 인프라 전반에서 정보를 이동할 수 있도록 설계된 오픈 소스 데이터 이동 엔진입니다. 이 시스템은 데이터베이스, API, 이벤트 스트림, 객체 스토리지와 같은 소스로부터 단일 파이프라인을 통해 Snowflake, BigQuery, ClickHouse, Iceberg를 포함한 대상 목적지로 데이터를 라우팅합니다.
이 엔진은 기존 파이프라인을 변경하지 않고도 상태, 이벤트, 시크릿을 위한 백엔드를 구성하고 교체할 수 있는 플러그형 아키텍처를 특징으로 합니다. 데이터 무결성을 위해 Filament는 읽기 및 쓰기 주기 동안 모든 레코드에 CRC32-C 해싱을 적용하며, 개수, 바이트 볼륨 또는 체크섬이 일치하지 않을 경우 배치를 실패 처리합니다.
공식 출처로 확인된 활용 사례
운영 데이터베이스 및 객체 스토리지 파일의 테이블 형식 레코드를 Snowflake, BigQuery, ClickHouse 또는 Iceberg와 같은 분석 싱크로 이동합니다.
CRC32-C 체크섬, 총 바이트 수, 레코드 수를 통해 배치 수준의 유효성 검증을 적용하면서 API 및 스트리밍 소스로부터 데이터를 복제합니다.
Filament는 데이터베이스, API, 이벤트 스트림, 객체 스토리지로부터 대상 데이터 웨어하우스 및 레이크하우스로의 수집을 처리하도록 설계된 데이터 이동 파이프라인을 구현합니다.
전송 전반에서 데이터 무결성을 보호하기 위해 엔진은 CRC32-C를 사용하여 읽기 및 쓰기 시 모든 레코드를 해싱합니다. 엔드포인트 간에 레코드 수, 총 바이트 수 또는 계산된 체크섬이 일치하지 않으면 배치가 자동으로 실패합니다.
이 플랫폼은 파이프라인 구성을 수정하지 않고도 운영자가 상태 관리, 이벤트 조율 및 시크릿 스토리지를 위한 백엔드를 선택하고 교체할 수 있는 플러그형 설계를 기반으로 구축되었습니다.
본인의 자료와 작업 흐름으로 직접 확인할 항목
확인한 출처와 확인 시점
출처를 확인한 제품 정보를 바탕으로 한 답변
Filament는 데이터 엔지니어가 인프라 파이프라인 전반에서 레코드를 이동할 수 있도록 Galaxy에서 개발한 오픈 소스 데이터 이동 엔진입니다.
Filament는 데이터베이스, 애플리케이션 프로그래밍 인터페이스(API), 이벤트 스트림 및 객체 스토리지에 저장된 파일로부터의 데이터 수집을 지원합니다.
Filament는 파이프라인을 통해 Snowflake, BigQuery, ClickHouse, Apache Iceberg를 포함한 분석용 싱크로 데이터를 로딩하는 것을 지원합니다.
Filament는 CRC32-C를 사용하여 읽기 및 쓰기 시 모든 레코드를 해싱하며, 레코드 수, 총 바이트 수, 체크섬이 일치하지 않으면 배치를 자동으로 실패 처리합니다.
Filament는 파이프라인을 변경하지 않고도 사용자가 상태, 이벤트 및 시크릿용 백엔드를 직접 선택하고 교체할 수 있는 플러그형 아키텍처를 제공합니다.