Deep Learning Approach for Detecting Malicious Activities over Encrypted Secure Channels

Abstract

오늘날의 사이버 공격은 보안 채널을 통해 악성 바이너리를 은닉하는 성향이 있다. 이에 따라 네트워크상에서 공격 행위를 추적하는 것이 어려워지고 수많은 공공 및 기업 인프라가 위협에 노출되고 있다. 현재 가장 활발히 악용되는 보안 채널은 SSL(Secure Sockets Layer)이며, 기존 네트워크 트래픽 검사 솔루션은 SSL 가시성을 제공하는 데 여러 한계가 존재한다. 여기에는 암호화된 패킷 페이로드 분석의 어려움 이외에도, SSL의 기본 데이터 단위인 record의 독특한 구조와 전송 메커니즘이 한몫하고 있다. 본 논문에서 제안하는 기술은 SSL 채널에서 전송된 record들을 IP 패킷들로부터 복원하고 시계열 데이터 형태로 변환한 후에 딥 러닝 기법을 활용하여 심층 분석한다. 제안 기술은 SSL record 계층의 정보만을 활용하는데 이는 비효율적인 복호화 과정으로 손실되는 시간과 자원을 감축할 수 있음과 동시에, 네트워크 관리자가 사용자들의 개인정보를 페이로드를 통해 일일이 확인해볼 수 있다는 우려로부터 자유롭게 해준다. 또한, 실험 결과를 통해 제안한 기술이 TCP/IP 정보 기반 침입 탐지 기술보다 통신환경과 같은 변수에 의한 영향이 적고 정상과 공격 트래픽을 높은 정확도로 분리할 수 있음을 검증하였다.|Nowadays, most cyber attackers exploit secure communication channels to hide malicious activities and imitate the behaviors of a legitimate user. These attacks over a secure channel make networked systems more vulnerable to new threats and increase the possibility of significant damage to other end users. Traditional TCP/IP-level traffic inspections do not suffice in investigating a secure sockets layer (SSL) conversation because the SSL conversation data is encrypted by a public key system and the SSL uses its own data unit of an SSL record. In this paper, we propose a novel malicious SSL traffic detection method, which reassembles SSL records from captured IP packets and inspects the characteristics of SSL records using a deep learning method. After an SSL record is reassembled from a single or multiple IP packets, the proposed method extracts unencrypted contents of the reassembled record and generates a sequence of unencrypted data from successive SSL records for deep learning-based classification. The sequences of SSL records are encoded using a long short-term memory autoencoder, and then an encoded feature map is generated for each SSL flow. These feature maps are forwarded to the convolutional neural network-based classifier to determine whether the SSL flow is malicious or not. The experiment shows that our proposed approach has a great separability between benign and malicious traffic flows on an encrypted SSL channel.