Development of digital imaging device for peripheral blood smear and deep learning based white blood cell recognition

Abstract

Peripheral blood smear examination is for diagnosing disease and monitoring the course of treatment. However, peripheral blood smear examination through an optical microscope was difficult to observe a large area of the sample due to a narrow field of view. Recently, a digital microscope that automatically scans a slide by combining a microscope, a camera, a motorized stage, and an autofocusing device has been developed and applied in clinical practice. The performance of these instruments is determined by the accuracy of blood cell imaging analysis or by how fast a large area of the slide is scanned. Factors that affect image acquisition speed include autofocus speed, translation speed and translation distance of the motorized stage, camera exposure time, and field of view. Especially, the method of replacing tube lens or minimizing the overlapping area between the acquired images by adjusting the stage translation distance increase the image acquisition speed without additional cost. However, replacing the tube lens to increase the field of view causes shading distortion due to vignetting. Existing methods introduced to correct the shading distortion are classified into a single image and multiple image correction methods. The multi-image shading distortion method extracts shading distortions commonly included in input images and corrects shading of all images using the same shading model. Therefore, it provides a more consistent and clearer image than a single image shading distortion correction method. Most recently, CIDRE and BaSiC methods have been introduced and showed superior performance compared to other multi-image shading distortion correction methods. Although they effectively corrected the shading of various types of microscope images, there were limitations in correcting distortion of high-frequency components due to dust or noise in bright-field microscope images for a peripheral blood smear. In this paper, we propose a new method that can correct both shading distortion of the low frequency and high-frequency components by not forcibly removing the high-frequency components of the input image. The proposed method showed faster processing speed when generating a shading model of the same resolution than the existing method. Another method that can increase the speed of image acquisition in the examination of blood smear images is to reduce the size of overlapping regions between images when scanning slides. The slide is scanned in the form of a two-dimensional grid, and it is possible to create a seamless image by defining the size of overlapping regions between adjacent images and matching image features simultaneously present in the overlapping regions. This process is called image stitching. The performance of image registration increases as the size of the overlap region is set closer to the real one. In this paper, we introduce a method to increase the accuracy of overlap region size estimation and increase the speed of image registration at the same time by comparing all input images simultaneously using a 3D phase correlation method. To verify the performance of the proposed shading correction method and image stitching method, a bright-field microscope capable of digital slide scanning was developed. In addition, a blood slide was scanned to produce a virtual slide and deep learning-based white blood cell recognition software was developed. The method proposed in this paper is expected to reduce the time required to acquire and process peripheral blood smear images by improving the shading correction performance and image stitching performance of bright-field microscopes.|말초 혈액 도말 검사는 질병을 진단하고 치료 과정을 모니터링하기 위한 것이다. 그러나 광학 현미경을 통한 말초 혈액 도말 검사는 좁은 시야각으로 인해 시료의 넓은 영역을 관찰하기 어려웠다. 최근에는 현미경, 카메라, 전동 스테이지, 자동 초점 장치를 결합하여 슬라이드를 자동으로 스캔하는 디지털 현미경이 개발되어 임상 실습에 적용되고 있다. 이러한 기기의 성능은 혈액 세포 이미징 분석의 정확도 또는 슬라이드의 넓은 영역을 스캔하는 속도에 의해 결정되는데, 슬라이드 스캐너의 영상 획득 속도에 영향을 미치는 주요 요소는 자동 초점 속도, 전동 스테이지의 이동 속도 및 이동 거리, 카메라 노출 시간 및 시야각 등이 포함된다. 본 논문에서는 음영 왜곡 보정을 통한 영상 품질 향상 방법과 최소 겹침 영역을 통한 영상 획득 속도 향상 방법과 함께 딥러닝 기술을 통한 백혈구 자동 인식 방법을 소개한다. 시야각이 증가함에 따라 비네팅 왜곡으로 인해 영상 주변 영역에 음영이 발생하고, 이러한 음영 왜곡을 보정하기 위한 단일 영상 음영 왜곡 보정 방법과 다중 영상 음영 왜곡 보정 방법들이 소개된 바 있다. 다중 영상 음영 왜곡 보정 방법은 입력 영상에 공통적으로 포함되는 음영 왜곡의 특징을 추출하여 생성한 음영 모델을 사용하여 개별 영상의 음영을 보정한다. 따라서 단일 영상 음영 왜곡 보정 방법보다 더 일관되고 선명한 영상를 제공한다. 가장 최근에는 CIDRE 및 BaSiC 방법이 소개되어 다른 다중 영상 음영 왜곡 보정 방법에 비해 우수한 성능을 보여주었다. 이들은 다양한 현미경 영상의 음영을 효과적으로 보정했지만 말초 혈액 도말을 위한 명시야 현미경 영상에서는 먼지나 노이즈로 인한 고주파 성분의 왜곡들로 인해 보정 효과가 저하되는 문제가 있었다. 본 논문에서는 음영 모델이 주파수 공간에서 희소하다는 기존 방법의 가정을 따르지만, 입력 영상의 고주파 성분을 강제로 제거하지 않으면서 저주파 성분과 고주파 성분의 음영 왜곡을 모두 보정 할 수있는 새로운 방법을 제안한다. 제안된 방법은 동일한 해상도의 음영 모델을 생성 할 때 기존 방법보다 처리 속도가 더 빠르며, 감마 스코어를 이용한 음영 보정 성능 비교에서도 더 나은 결과를 보였다. 또한 본 논문에서는 술라이드를 스캔할 때 이웃하는 슬라이드 간 겹치는 영역의 크기를 최소화하여 스캔 속도를 향상하는 방법을 제안한다. 슬라이드를 2차원 격자 형태로 순차적으로 스캔할 때 이웃한 영상간 겹치는 영역의 크기를 줄이면 스캔 속도를 향상시킬 수 있다. 그러나 겹치는 영역이 줄어들수록 이미지 스티칭에 필요한 특징 정보를 획득하기 어려워 스티칭 성능이 저하되는 문제가 있었다. 이미지 스티칭 성능을 향상시키기 위해서는 겹쳐진 영역의 크기가 작을수록 더 정확하게 겹쳐진 영역의 크기를 알고 있어야 한다. 이는 겹쳐진 영역의 크기를 알아야 해당 영역의 영상만을 비교대상을 설정하여 영상 정합의 정확도를 높일 수 있기 때문이다. 그러나 스테이지의 이동 오차로 인해 시료마다 겹쳐진 영역의 크기가 달라져 그 정확한 크기를 예측하기 어렵고 이로 인해 기존 스티칭 기법들은 영상 크기 대비 겹쳐진 영역의 크기 비율을 10 % 이상으로 크게 설정해야 하는 문제가 있었다. 제안하는 방법은 3 차원 위상 상관법을 이용하여 모든 입력 영상을 동시에 고속으로 비교하여 겹쳐진 영역의 크기를 높은 정밀도로 추정하고 이를 통해 스티칭 성능을 향상시키는 방법을 소개한다. 이를 통해 제안하는 방법은 슬라이드를 스캔할 때 겹쳐진 영역의 크기를 최소화하여 슬라이드 스캔 속도를 향상시키고 이미 스티칭 시간을 단축하였다. 제안 된 음영 보정 방법과 이미지 스티칭 방법의 성능을 검증하기 위해 디지털 슬라이드 스캐닝이 가능한 명시야 현미경이 개발되었습니다. 또한 혈액 도말 슬라이드를 스캔하여 가상 슬라이드를 만들고 딥러닝 기반의 백혈구 인식 소프트웨어를 개발했다. 본 논문에서 제안한 방법은 명 시야 현미경의 음영 보정 성능과 이미지 스티칭 성능을 향상시켜 말초 혈액 도말 영상를 획득하고 처리하는 데 필요한 시간을 단축할 것으로 기대된다.