컨테이너 기반 클러스터 환경에서 eBPF 기반 작업 단위 데이터 가시성 확보 방안

Abstract

AI산업의 발전에 따라 대규모 데이터셋이 많이 활용되면서, 학습 데이터셋에 포함된 개인정보와 프라이버시 문제에 대한 대중의 불안감이 증가하였다. 이에 따라, 데이터의 사용처를 소명할 수 있는 방법이 필요하다. 이러한 문제에 대해, 데이터 분산 처리 시스템에서 활용되는 원본 데이터를 작업 단위로 묶고, 작업과 관련된 데이터 흐름을 식별하고자 하였다. 이를 위해, 시스템에 eBPF 기반 사이드카를 부착하여 작업 중 발생하는 트래픽 로그를 수집하고, 이를 작업 정보와 결합하여 데이터 이동 경로를 작업 단위로 식별하였다. 단순화된 분산 처리 시스템에서 유효성을 확인한 결과, 작업 단위의 데이터 흐름을 식별할 수 있음을 보였다.