Learning-based 3D Point Cloud Analysis and Applications for Robotic Manipulation in Real World

Abstract

본 연구는 실 환경에서 부분 포인트 클라우드 인식 성능을 높이기 위한 방법과 3D 딥러 닝 네트워크와 포인트 클라우드를 응용한 로봇 매니퓰레이션을 제안한다. 첫째, 실환경에서 카메라를 이용하여 포인트 클라우드 데이터를 획득할 때, 카메라는 물 체 또는 장면의 보이는 부분만을 시각적 정보로 담을 수 있다. 기존에 3차원 포인트 클라우드 분 석을 위해 제안된 모델들은 온전한 형상의 포인트 클라우드 만을 학습하여, 부분 포인트 클라우 드 분석에 바로 적용이 어렵다. 따라서 본 연구는 실 환경 부분 포인트 클라우드의 인식 성능을 높이기 위해 노말라이즈 된 거리 기반의 뷰 정보 (NVD)를 정의하고, 부분 포인트 클라우드와 NVD를 함께 학습하는 방법을 제안한다. NVD의 효용성을 보이기 위하여 다양한 3D 딥러닝 네트 워크와 다양한 테스크 (분류 및 분할)에서 실험을 진행하였고, 결과적으로 NVD가 부분 포인트 클라우드 분석 성능을 향상시킬 수 있음을 보였다. 둘째, 3D 딥러닝과 포인트 클라우드를 동시에 활용한 안전하게 물체 놓기라는 새로운 로 봇 매니퓰레이션 테스크 를 제안한다. 기존 실제 환경에 로봇을 사용하여 다양한 작업을 하기 위 해 제안되었던 기존 연구들은 대부분 어떻게 물체를 파지할 것인지 또는 물체를 집고 놓기에 대 한 전체 시스템 개발에 초점을 맞췄다. 따라서 본 연구에서는 로봇이 주어진 물체를 관측하여 안 전한 자세를 유지할 수 있도록 하는 영역을 탐지하는 새로운 딥러닝 기반의 테스크 (SOP)를 제 안한다. SOP를 수행할 딥러닝 모델 학습을 위해, 물리 시뮬레이션 환경에서 3D 벤치마크 (3DNet, ShapeNet 그리고 YCB) 물체들을 사용하여 자동으로 안전한 영역을 레이블링 하여 가상데이터 (SOP-SIM)를 생성하였다. 제안하는 딥러닝 모델 (SOP-NET)은 가상 데이터 (SOP-SIM)을 부분 포인트 클라우드로 전 처리하여 학습하였다. 실 환경에서의 물체 조작을 고려하여, 로봇이 관측하 는 대부분의 물체들은 처음 보는 물체들이므로 이에 대응할 수 있게 학습하였다. 시뮬레이션에서 온전한 형상 그리고 부분 형상에 대한 실험을 통해 제안하는 모델이 부분 관측 상황 또는 처음 보는 물체에 대응이 가능함을 보였고, 실 환경에서의 실험을 통해 노이즈에 강건함을 보였다.|This study proposes a learning-based framework for 3D point cloud analysis and applications for robotic manipulation in the real world. To begin, the backgrounds and related works of deep learning-based point cloud analysis and robotic manipulation are illustrated. In Chapter 1, a simple method, called NVD (Normalized View Distance) is presented to improve performance on partial point clouds in the real world. The Inspirations of NVD and previous works are discussed, and a simple method for using NVD for 3D point cloud deep learning models is detailed. To evaluate the proposed method, experiments are designed for three different 3D deep learning models (PointNet, PointNet++ and DGCNN) and two different tasks (Classification and Segmentation) using 3D benchmark datasets (ModelNet40 and ShapeNet). Experiment results in chapter 1 show that NVD improves performance in both classification and segmentation tasks. In Chapter 2, a new deep learning based application called SOP (Stable Object Placement) is demonstrated as a robotic manipulation using point cloud. The motivations for the proposed method and its comparison to prior works are explained. SOP problem statements (e.g., definitions of manipulating scene, object stability and objectives) are considered. The pipeline of generating custom dataset, called SOP-SIM is illustrated, including simulation environment setting and annotating stable planes on point cloud. SOP-NET, an end- to-end deep learning framework, SOP-NET trained on the SOP-SIM dataset, is presented. To evaluate the performance of SOP-NET, experiments are built with 3D benchmark dataset (ShapeNet, 3DNet and YCB) and prior works. Experimental results explained that the proposed method is well designed and outperforms the other methods. Finally, this study suggests the followings: (1) NVD effectively assists deep learning models to learn visibility information when recognizing partial point clouds. (2) The SOP proposal demonstrates the use of point cloud and deep learning methods can be applicated on robotic manipulation task.