Organic nanoparticle-assembly segmentation and tracking via deep learning for in-situ LP-TEM

Abstract

Π-컨쥬게이션 계를 포함하는 양친매성 로드-코일 공액 분자는 수용액에서 크기, 모양 등을 고려할 때 견고하고 정교한 나노구조들을 생성할 수 있어 각광받고 있고, 이러한 분자는 친환경적 공정과 함께 전기광학, 생물의학, 광 감지가 가능한 재료에 적용이 가능하다. 그러나 맞춤형 나노구조 재료를 생산하기 위해서는 동적 어셈블리 동작을 제어하는 과정이 중요하다. 한편, 실시간으로 TEM을 통해 이미징하는 기술은 나노입자의 동적 조립 과정을 직접 시각화할 수 있어 충돌, 유착 및 분화와 같은 상호작용을 이해하는 데 중요한 수단으로 떠오르고 있다. 그러나, 유기 분자가 갖는 고유한 특징인 낮은 질량 명암, 빠른 브라운 운동, 빈번하게 방사선으로 인한 손상이 발생한다는 점과 용매와의 상호작용이 예측하기 어렵다는 점은 용액 상태의 유기 분자나 입자를 직접 관찰하는 데 있어 문제점으로 다가오고 있다. 이런 문제들로 인해, 다양한 입자끼리의 상호 작용에 대한 정량적인 정보를 제공하기 위한 새로운 분석법 개발의 중요성이 대두되고 있다. 이에, 양친매성 로드-코일 분자가 자기조립을 통해 규칙적인 배열을 갖는 나노구조를 형성하는 과정을 실시간 액상투과전자현미경을 통해 이미징하고 딥 러닝을 통해 그 과정을 효과적으로 분석하는 방법을 제안하고자 한다. 그 결과, 배경의 용액과 유기 입자를 명확하게 구별하고 움직이는 경로를 효과적으로 나타낼 수 있었다. 블록 비율을 제어함에 따라 다른 형태를 만드는 경향성을 나타내는 로드-코일 블록 분자를 설계하고, 물 속 구조를 확인할 수 있었다. 특정한 전자 플럭스 범위에서 약 5 nm 이하의 수성 나노 입자의 동적 움직임을 성공적으로 관찰했으며 그 이동경로를 정량화하기 위해 잡음에 대비하여 신호를 증가시키고자 딥 러닝 모델이 도입되었다. 인공지능으로 이미지의 객체를 픽셀 단위로 분류하기 위해 학습 데이터셋으로 효과적인 이미지 처리로 잘 알려진 U-net을 도입했다. 입자 이동이 담긴 투과전자현미경 이미지가 쌓여 만들어진 영상은 이분화되었고 유저 친화적인 플러그인을 포함한 Image를 통해 처리하여 나노입자의 궤적을 얻을 수 있었다. 나노입자의 움직임을 분석하고 계산하여 속도, 확산 계수, 평균 공간 변위와 같은 물 속 양친매성 블록 분자의 움직임과 관련된 변수들을 알아낼 수 있었다. 또한, U-net을 통해 약 70%의 상당한 노이즈 감소를 달성하고 입자의 움직임 경로를 성공적으로 확인할 수 있었다. 딥 러닝 모델로 실시간 투과전자현미경 영상을 처리하여 작은 분자를 이미징하는 방식은 이후 명암을 입체적인 시각으로 인식하여 4D 시간적, 공간적으로 데이터를 표현할 수 있게 하여 실시간 투과전자현미경 이미지를 효과적으로 시각화하는 연구로 확장이 가능하다. 그리고 매우 작은 규모 분자의 움직임을 관찰함으로써, 특히 액상에서 작은 분자가 다른 시스템에 영향을 미치거나 상호작용하는 원리를 영상화하는 것과 같은 연구에 방향성을 제시할 것이다.|Rod-coil amphiphilic block molecules containing π-conjugation system are prominent field for generating robust well-defined nanostructures in size, shape and dimension in aqueous solution which can be applied to electro-optical, biomedical, and opto-sensing materials with eco-friendly processing. However, the dynamic molecular assembly should be controlled to provide customized nanostructured materials with specific functions. Meanwhile, real-time transmission electron microscopy (TEM) imaging of dynamic assembly of molecules or nanoparticles is recently recognized as a powerful tool for understanding their mutual interaction such as collision, coalescence, and fragmentation. However, it is challenging to directly observe solution-state organic molecules or particles due to their inherent low mass contrast, fast Brownian motion, frequent radiation damage, and unpredictable interaction with solvent. Considering this issue, the novel analysis should be developed to provide the quantitative information on their various particle interactions. Herein, I reported the deep learning-based in-situ liquid phase TEM (LP-TEM) imaging for securing quantitative analysis in dynamic assembly of rod-coil amphiphilic molecules into well-defined nanostructures. It allows us to take the clear segmentation of organic particles against solution background and trace the trajectories. Designed molecules showed different morphology-shaping tendencies by controlling the relative block ratios of rod-coil molecules. The dynamic self-assembly behavior of the particle can be observed by LP-TEM considering electron-driven or radiation chemistry. In a specific range of an electron flux, I successfully observed aqueous nanoparticle’s dynamic movement below approximately 5 nm. To quantify the trajectory of the nanoparticles, the deep learning model was introduced for decreasing signal-to-noise, as mentioned. For the semantic segmentation, I introduced U-net which has been well-known for effective image-process with forefront training dataset. The particle movement in TEM images that can be stacked on video was well binarized and processed with ImageJ containing user-friendly plugins to get the nanoparticle trajectory. By analyzing and calculating the nanoparticles’ movement, it was able to identify the amphiphilic block molecule's moving parameter in water such as velocity, diffusion coefficient, and mean space displacement. Also with using U-net, I could achieve about 70% significant noise reduction and successfully verified particle's tracking path. This approach to imaging the small molecule by processing the in-situ video with deep learning can be expanded to the study of effective visualization of in-situ TEM images by enabling 4D spatio-temporal data representation according to the process of recognizing contrast as a 3D point of view. Furthermore, by observing the movement of molecules on a very small scale, this research will suggest a guideline to a study such as imaging the process of small molecules interacting or affecting on other systems especially in liquid phase.