클라우드-네이티브 기반 SmartX AI 클러스터의 멀티 클러스터링 및 멀티 테넌시 기능 개선

Abstract

최근 클라우드 서비스에 대한 수요 증가에 따라 경량화된 가상 환경을 기반으로 컴퓨팅 환경을 구성하는 컨테이너 기술의 사용이 크게 증가하였다. 이에 따라 확장성 및 가용성 특징을 갖는 클라우드-네이티브(Cloud-native) 컴퓨팅 기반 기술인 쿠버네티스(Kubernetes, K8S)를 채택하는 사례가 많아졌다. 또한, 이와 연계되어 다양한 분야에서 활용되고 있는 AI 기술 지원 도구들이 점차 늘어나게 되었으며 유연한 배포 및 운용이 가능하게 되었다. 그러나 상기 도구들을 효율적으로 사용하기 위하여 특정 워크로드를 대상으로 특화된 자원 구성에 대한 필요성이 대두되었다. 이에 멀티 클러스터의 개념이 제안되었으나 멀티 클러스터(Multi-cluster)의 구축과 함께 해당 구조를 관리하는 구성 요소 및 개념이 필요하다. 이에 대응하여 본 논문에서는 K8S 기반으로 구축된 SmartX AI Cluster의 확장과 더불어 Tenants Portal을 소개한다. 확장된 SmartX AI Cluster는 싱글 K8S 클러스터로 운영했던 기존의 방식과는 다르게 다른 종류의 자원을 포함하는 단일 K8S 클러스터들을 결합한 멀티 K8S 클러스터 환경을 제공한다. 또한, Tenants Portal은 별도의 K8S 환경을 구축하지 않아도 동시에 여러 사용자가 상기 환경을 이용할 수 있도록 지원하는 개체(Entity)이다. 최종적으로 제안한 환경에서 병렬 및 분산 처리, 추론 서비스 사례를 통해 머신러닝(Machine Learning, ML) 워크로드 검증을 수행함과 동시에 적용된 개념의 개선 및 관련 연구를 논의한다.