Designing a Lakehouse for Multi-Sensing Digital Twin

Abstract

Digital Twin is emerging as a core technology of the fourth industrial revolution, but it comes with complex challenges in efficiently integrating and processing data generated from various sources. To solve this problem, data architectures such as data warehouse, data lake, and data lakehouse are being introduced into digital twin systems. In this thesis, we present the design of a lakehouse for efficiently processing multi-sensing data generated in Dream-AI Space, an AI convergence living lab. Its performance was verified through experimental validation. The proposed lakehouse utilizes Medallion architecture and ELT processes to maximize data quality and processing efficiency, and integrates, manages, and synchronizes UWB RTLS data and GPU metric data in an OpenUSD-based Dream-AI Space environment. The Lakehouse's concurrent processing capabilities and time travel functions were designed to support real-time processing of multi-sensing data in Dream-AI Space. Comparative experiments with the lake architecture demonstrated that the lakehouse is effective for Dream-AI Space.|디지털 트윈은 4차 산업혁명의 핵심 기술로 부상하고 있지만, 다양한 소스에서 생성되는 데이터를 효율적으로 통합하고 처리하는 데 있어 복잡한 도전 과제가 존재한다. 이러한 문제를 해결하기 위해 데이터 웨어하우스, 데이터 레이크, 데이터 레이크하우스와 같은 데이터 아키텍 처가 디지털 트윈 시스템에 도입되고 있다. 본 논문에서는 AI 융합 리빙랩인 Dream-AI Space 에서 생성되는 멀티센싱 데이터를 효율적으로 처리하기 위한 레이크하우스 설계를 제안하고, 그 성능을 실험적으로 검증하였다. 제안된 레이크하우스는 데이터 품질과 처리 효율을 극대화 하기 위해 Medallion 아키텍처와 ELT 프로세스를 활용하며, OpenUSD 기반 Dream-AI Space 환경에서 UWB RTLS 데이터와 GPU 메트릭 데이터를 통합, 관리, 동기화한다. 레이크하우스 의 동시 처리 기능과 time travel 기능은 Dream-AI Space의 멀티센싱 데이터를 실시간으로 처리할 수 있도록 설계되었다. 레이크 아키텍처와의 비교 실험을 통해 레이크하우스가 Dream-AI Space에 효과적임이 입증되었다.