干货丨一文读懂加密流量检测

小柒 · 发表于 2022-5-23 17:43:39

互联网技术快速发展，使得互联的规模与流量越来越大。在网络通信中，加密流量已经成为通信的主流。虽然加密流量保护了用户的隐私，但也为安全检测带来了新的挑战。

纵观近年网络攻击事件，以高级持续威胁攻击和定向渗透攻击为代表的高级网络攻击盛行，而这些攻击组织，为了更隐蔽的获取用户数据，控制目标系统，往往采用隐蔽的、加密的通信方式。通常情况下，这些隐蔽的通信传输会隐藏到常见的网络协议中，或使用加密通信，混杂在正常业务数据中，具有特征不确定，途径多样化，低流量，低频率等特点，以达到长期控制，窃取数据的目的。

当前网络加密技术与网络隐蔽技术已经成为高级网络攻击中最基本的传输方式，科来从协议分析的角度对加密流量检测进行剖析。

在谈加密流量检测之前，我们要先了解一下检测的前置条件。

首先，我们要有高速流量采集，识别，解码的能力，科来支持40Gps以上的超大流量实时处理能力。随着近年来国际关系日益紧张，攻防对抗愈演愈烈。网络空间已经是海陆空天之外的第五大战场。能否在当前大流量，大吞吐的情况下，稳定采集，准确识别，完整解码，直接关系到我们在攻防对抗过程中，是否能够对威胁进行识别，建模分析的关键保证。

其次，在协议解析的基础上能够提取足够的元数据，供复杂的安全场景进行行为建模，科来支持1000+字段的对外输出，满足用户对元数据日志和对字段数量的多元性要求。支持用户根据不同的需求和应用场景定制化输出数据。如：支持用户对数据根据四元组、警报级别、警报类型、XFF、URI等维度进行数据过滤，指定需要输出的数据；支持用户通过控制输出频率来对输出性能进行控制；支持用户自定义输出数据编码格式、是否加密等。满足了多种场景下用户的不同输出需求。

最后，重点来了，我们来聊聊如何进行加密流量检测，加密流量检测方法可以从以下几个角度进行入手，特征识别、行为分析、隐蔽信道、机器学习。

特征识别：

互联网通讯协议众多，不同的应用通常会采用不同的协议，而各种协议都有其特殊的指纹，这些指纹可能是特定的端口、特定的字符串或者特定的比特序列。基于特征的识别技术，正是通过识别数据报文中的指纹信息来确定业务所承载的应用以及该应用是否存在异常。如通过特征指纹识别常见的的黑客工具，如菜刀、蚁剑、冰蝎、Godzilla等webshell工具的通讯；
Regeorg、Tunna、Frp、EarthWorm等网络穿透工具的通讯；CobaltStrike、MSF等渗透工具的通讯。

在加密流量检测上可以通过对加密握手过程中产生的JA3指纹，SNI信息，证书颁发者等信息，做特征匹配，精准识别到APT组织中使用的特种木马或基于框架生成的商业木马，发现内网失陷资产。

行为分析：

目前在应对如国家级APT攻击识别和分析中，异常通讯行为识别是最主要行之有效的方法。精准的异常行为模型建立需要两个重要因素：完整详尽的流量信息提取和灵活的行为描述逻辑。行为模式的识别需要对流量中的关键信息进行预先处理，而且提取的相关参数越详细，越有助于行为模型的建立，此外丰富的流量解析数据也为机器学习算法提供多维度的计算参数。

行为模式识别技术能够智能分析数据流的通讯行为特征并建立行为识别模型。行为特征能够针对源地址、目的地址、源端口、目地端口、发送时间、接收时间、发送时间频率（时间差）等信息进行综合分析，建立综合的识别模型，以作为对异常网络通讯的判断依据。

常见的加密流量相关的异常行为如下：

模拟SSL通讯，但实际是自加密通讯流量，在境外APT攻击中多有出现，使用常见互联网应用过期证书，模拟SSL交互头部，但实际流量并未采用SSL封装。

使用自签证书或非权威机构颁发证书加密通讯，且在同一业务中使用的证书不一致。采用加密流量通讯、非内部或常见应用证书，且流量发送远大于接收，持续时间较长的通讯，另外结合空间测绘数据和内部资产数据对通讯双方进行定位研判，对异常行为赋值打分，找出存在多种异常的会话。

隐蔽信道：

隐蔽信道可以分为使用未知协议与利用已知协议两种。

使用未知协议的隐蔽信道检测通过对网络层、应用层协议的匹配分析，对常见端口下的数据传输进行协议位特征的匹配，选择多种特征位进行数据匹配，当所有匹配特征都无法匹配该端口下的通讯数据，则认为通讯不是该端口该运行的协议，即为网络隐蔽信道通信。

对于利用已知协议正常业务字段的进行隐蔽通信部分，可以首先按照协议对流量进行分类解析，然后针对与每种协议进行字段划分，特征提取，统计建模，比如DNS隧道，APT组织经常使用DNS隧道来对木马进行指令下发数据传输等控制，僵尸网络使用DGA上线等。

机器学习：

使用随机森林、LSTM、隐式马尔科夫等算法，分别对加密协议中传输的加密原始流量与元数据字段（JA3指纹、证书链、证书链个数、加密套件个数、扩展长度、协议版本、证书组织、证书颁发者等）建立黑白模型，使用黑白模型分别判定黑白，然后对结果集进行交叉比对。结合行为模式与隐蔽信道的检测结果进行恶意行为判断。

目前科来产品已内置一系列加密流量检测规则和模型，可对常见黑客工具通讯、隐蔽隧道通讯、可疑或非法加密通讯行为进行实时检测和历史回溯，可以快速、高效、准确发现加密流量中的恶意访问，保护用户网络及数据的安全，在通信加密盛行的今天，为提高用户的网络安全提供了有效的防护手段。

- End -

干货丨一文读懂加密流量检测

本帖子中包含更多资源