K8S-Orchestrated Connectable Data Lake 설계 및 검증

Abstract

본 논문은 쿠버네티스 환경에서 객체 스토리지와 데이터셋의 자동화된 프로비저닝 및 지역 간 동기화를 지원하는 Connectable Data Lake 프레임워크를 제안한다. 해당 프레임워크는 CRD와 Operator 패턴을 기반으로 분산된 객체 스토리지를 관리하며, 사용자 정의 데이터셋 동기화 규칙에 따라 데이터셋을 자동으로 이동·복제함으로써 데이터셋의 접근성을 확보한다. 이를 통해 쿠버네티스 기반 데이터 생태계에서 기존 기술의 한계였던 데이터셋 동기화 문제를 해결하며, 클라우드 기법으로 데이터의 전주기적 관리를 가능하게 한다. 또한 MinIO 등 오픈소스 기술과의 통합을 통해 실질적 성능을 검증하고, 향후 클라우드 기반 데이터 중심 분산 시스템 설계에 기초 자료로 활용될 수 있음을 입증한다.