前面文章中，我们已经介绍了科来DPI在CSNAS的各种视图中的应用，也举了不少场景示例，相信大家已经能够在CSNAS中灵活运用科来DPI应对超过95%的场景过滤。但根据前场分析工程师反应，在使用过程中还是有人会把不同过滤器和科来DPI搞混淆。其实，科来DPI只是科来过滤系统中的一种具体过滤技术，不同过滤器可以选择使用科来DPI来实现过滤，也可以使用“图形化”过滤技术来实现过滤。只有完全理解了CSNAS过滤系统，才能把这些易混淆的概念彻底弄清楚，才能完全发挥CSNAS强悍的过滤能力。今天我们就用一篇文章，来详细讲解科来CSNAS的过滤系统。本篇文章概念解释较多，阅读预估耗时20分钟。
前面一系列的文章，我们基本都在着墨讲解科来DPI，在使用CSNAS的过程中，工程师却经常反应在工具界面为什么没有科来DPI的固定入口？工具栏上面的“漏斗”不应该就是过滤器吗？为什么不在这里输入DPI语句，而要在各个视图中去应用DPI过滤规则呢？这里，我们统一解开大家的疑惑：因为科来DPI只是一种具体的过滤技术，而我们需要过滤数据包时是使用过滤器。过滤器分为了三种，分别是分析过滤器（又称为捕获过滤器）、显示过滤器、存储过滤器。每一种过滤器都能够应用科来DPI技术进行过滤（即使有用户不会科来DPI的语法，也能够使用简单但不够灵活的“选择组合式过滤（图形化过滤）”技术来对数据包进行过滤）。
如上图中间部分所示，过滤器分为了三种（分析、显示、存储过滤器），在下文“过滤器的分类”段落中进行具体讲解；如上图右侧部分所示，“科来DPI”和“选择组合式过滤”是两种具体的过滤条件配置技术（具体参见系列文章的第一篇，有详细介绍。它们都能实现数据包的过滤，只是方式不同：使用科来DPI，分析工程师直接输入对应的过滤语句就行，灵活多变，可应对各种复杂过滤场景；选择组合式过滤，不需要学习语法，直接通过鼠标点击添加过滤条件，多个条件通过“与或非”的逻辑组合，创建出图形化的过滤模型，简单易上手。）过滤器是CSNAS实现数据包过滤的工具，具体分为了3种：分析过滤器、显示过滤器、存储过滤器，对这3种过滤器的概念和关系说明如下图：（1） 分析过滤器：在网卡捕获所有数据包后，决定哪些数据包需要交给CSNAS分析引擎进行分析，哪些数据包不需要分析直接丢弃，这种过滤器就叫作分析过滤器。换种说法：分析过滤器位于网卡之后，分析软件之前。它决定了哪些数据包会进入CSNAS进而调用分析引擎进行分析。经过分析引擎分析后的数据包才会进入CSNAS的显示缓存，在CSNAS的视图中才能被分析师看见（能在CSNAS各视图中显示的数据包，都是已经经过分析引擎分析后的数据包）。被分析过滤器过滤掉的数据包，将不进入显示缓存（内存），直接被丢弃掉（被丢弃掉的数据包就再也找不回来了）。价值：通过设置分析过滤器可以减轻分析软件所在主机的性能负担，提高效率！（被过滤的数据包不调用分析引擎，不占用内存；例如在大流量环境中，只有1%的数据包是我们需要分析的，通过设置分析过滤器，过滤掉99%无用的数据包，可大幅提升分析性能和效率）在CSNAS的“分析设置”中或点击工具栏的工具图标可以设置分析过滤器，如下图：
系统自带了一些提前配置好的分析过滤器，可直接勾选使用。如果需要自己配置，可点击右侧“添加”，输入科来DPI过滤语句（若在分析前选择了“选择组合式过滤”，则此处使用图形化添加过滤条件；可在软件打开时，在“文件”-“系统设置”中选择采用哪种过滤技术，具体请参考系列文章的第一篇，有详细设置讲解，本篇不再赘述）：配置好，点确定，新添加的过滤器会出现在分析设置里面，如下图：点击分析过滤器名称前面的选择框，打钩，代表应用该分析过滤器（在实时抓包过程中应用分析过滤器，将实时生效）。特别注意：当应用了分析过滤器后，此分析过滤器并不会因为分析结束后关闭CSNAS软件而消失。当下次打开CSNAS软件进行实时抓包时，分析过滤器仍然存在并默认应用（勾选了某分析过滤器，需人为取消勾选，否则分析过滤器将一直生效），但新建工程不受影响。若打开CSNAS进行实时抓包分析时出现分析视图为空（没有数据）的情况，需要确认是否是因为以前设置了分析过滤器未取消，导致新一次实时分析抓包受到影响，如下：在数据包视图中显示“没有可显示的列表项目”，但CSNAS最下面的状态栏中显示已捕获“0”个数据包，被分析过滤器过滤掉了“3947”个数据包。这就是因为应用了某种分析过滤器，导致CSNAS分析引擎没有分析数据包，进而分析视图中没有任何数据。此时找到分析过滤器，可以看到如下图：“分析过滤器1”影响到了我们进行实时抓包，此时手动取消掉分析过滤器前面的勾，取消生效后立即就可以抓取到数据包，但之前已经被过滤掉的数据包将不可恢复（因为这些数据包在调用分析引擎分析前就被丢弃了，不会进入CSNAS分析缓存）。这种现象同样会影响到数据包回放分析，但我们可以灵活使用这个特性，帮助我们进行二次过滤，同样可以提高我们的分析效率，后面应用举例中会进行演示。（2）显示过滤器：（使用显示过滤器的前提是数据包已经被CSNAS分析引擎分析，把分析后的数据包暂时存放在了电脑缓存中）分析时为了提升效率，只显示分析师想要看到的数据包而应用的过滤器。设置显示过滤器不影响数据包的抓取和存储。显示过滤器存在于CSNAS的每一个具体分析视图的工具栏上面，如图：本文之前，已经详细讲解了科来DPI在各种视图中的应用，全部是基于显示过滤器，此处不再赘述（请参看之前讲解DPI运用的系列文章）。大家可能有个疑问，在分析结束后，我可以通过点击工具栏上的“保存”或“导出”来实现数据包的存储，那设置存储过滤器不是多此一举吗？我们只想要把抓到的流量进行存储，并不需要进行数据包分析，这时通过设置分析过滤器再进行保存吗？经过CSNAS的分析引擎一定会消耗分析主机的CPU、内存等，为了保证主机性能，又不耽误我们存储流量，这时使用存储过滤器就是个很好的选择。在数据包捕获时，决定哪些数据包不需要分析但需要持久化存储（将数据包保存在硬盘当中，日后能再次使用），不需要留存的数据包在网卡处直接释放掉。这就是存储过滤器的工作原理。设置“存储过虑器”的位置，在软件“分析设置”对话框中“分析过滤器”的下面，如图：需注意，存储过滤器必须配合下面的“数据包保存”设置才能生效！首先配置“数据包保存”：默认情况下所有选项为灰色；i.勾选“自动保存数据包文件”； ii.选择存储数据包时，是存为单个文件（无论多大，都存为一个整包），还是分割为多个数据包（指定每个分割数据包的大小）。不管用那种方式，关键是指定数据包在硬盘中的存储位置。配置好“数据包保存”的方式后，再应用存储过滤器才能生效，如下：点击确认，配置生效。此时实时抓到的数据包如下（下图为没有应用任何过滤器的效果）：应用了存储过滤器后（只存储HTTP协议），在硬盘上保存的数据包如下：只保留了HTTP协议的数据包（图中的1号和2号包，为没有应用存储过滤器时的132号和136号数据包），其他的如133-135号数据包因为不匹配存储过滤器，存储时被丢弃了。不知道大家有没有注意到上面CSNAS过滤系统示意图中，显示过滤器的过滤技术除了科来DPI和选择组合式过滤，还有一个
“会话筛选器”？会话筛选器是专门针对会话分析而设计的一种特殊的显示过滤工具。会话筛选器考虑了更多的会话分析场景，能更简洁快速的帮助会话分析。在CSNAS的工具栏上点击会话筛选器图标，可打开会话筛选器：在弹出的会话框中，选择“会话筛选器”，点“添加”：在弹出的“会话筛选器属性配置”会话框中，配置会话筛选器的名字，通过“与或非”添加过滤条件（和选择组合式过滤器的界面一致），如下图：可提供筛选的条件包括“地址与端口”、“归属地”、“会话协议”、“会话数据包”、“会话内容”、“会话属性”等6项，其中五元组和会话内容是我们用得最多的过滤条件。下图为点击“会话内容”后，可设置的过滤条件：可实现查找“会话”中包含的特征内容（区别于其它抓包工具，只能实现单个数据包内容的查找），也是科来过滤的一个亮点功能，后面应用举例中会作场景化介绍。配置好以后，勾选上配置好的会话筛选器点确定，还需要在工具栏点击“播放”，才能实现对会话的过滤（对实时捕包的场景不试用，在会话筛选器设置对话框中已做特别说明）：可见，会话筛选器是一种特殊的显示过滤器。为何配置会话筛选器不使用DPI语句呢？其实科来DPI是可以实现会话筛选器所有功能的，在会话视图的显示过滤器中直接用类似“session.find()”的过滤语句，即可快速实现会话筛选器的功能（已在商业版本中实现该功能，技术交流版暂不支持）。例1：一个已经下好的第三方数据包，超过2G的大小，因数据包太大导致完全加载打开该数据包较慢。现在，我们只想分析该数据包中和HTTPS相关的数据包，能否通过设置过滤器，实现快速打开，提升分析效率？分析：CSNAS打开第三方数据包时，会先把数据包导入到显示缓存中。例如一个2G的数据包，根据数据包、会话数量不同，完全加载完大概会耗时1-5分钟，如果数据包更大，等待时间会更长。下图为导入一个2G大小的数据包时的截图：CSNAS有个特点，它并不像其他抓包工具，必须将整个数据包加载完成后才能进行分析，CSNAS是边加载边显示。因此，我们能看到，该数据包已加载进显示缓存的有哪些数据包。如上图，存在很多POP3_SSL等协议的数据包，这些都不是我们希望分析的包，去解析它们消耗了不少时间。此时我们可以设置分析过滤器，设置过滤条件：port=443，只保留HTTPS相关的数据包，过滤效果如下：原本2个G的包，经过分析过滤后，变为了627.5M，打开数据包的时间缩短了将近4倍。数据包过滤前有将近600万个，过滤后还剩不到122万个，在此基础上，我们再进行分析，效率会提升不少！注意：分析完以后，记得取消分析过滤器中勾选的过滤条件，以免影响下一次抓包分析！例2：在系统的某一位置抓包，由于流量太大，CSNAS所在主机性能已经达到极限。现在为了不消耗分析主机的性能，设想不分析数据包，直接保存该抓包点的HTTP、HTTPS、DNS协议的数据包，应该如何设置过滤器？分析：要做到不消耗分析主机的性能，直接对数据包进行存储，可以设置“存储过滤器”。配置如下：我们将捕获到的数据包，指定保存位置为服务器桌面“数据包保存”文件夹，每捕获200M数据包保存为一个文件，以免出现特别巨大的单包文件（上例可知，太大的数据包文件打开时会造成加载时间较长的问题）。如果出现一个会话的数据包保存到了2个包文件中，我们可以使用小工具“数据包生成器”进行数据包重组。这里用端口而不用协议，是为了避免把传输的纯TCP包和UDP包给过滤掉。配置好以后点击确定。注意：如果在分析一个离线的数据包时，按上面设置存储过滤器，点击“播放”键，会在我们设置的存储位置会生成一个被过滤后的新数据包。例3：经过对业务的了解，我们想统计，内容中包含“HMACCOUNT=F221A3C2C891F115”，并且响应中状态码为“200 OK”的HTTP会话有多少条？分析：经过对客户业务的了解，客户会在HTTP请求的Cookie中携带HMACCOUNT字段，用于记录用户访问门户网站的一些偏好。现在想把“HMACCOUNT=F221A3C2C891F115”，并且影响状态码为“200 OK”的会话过滤出来,我们可以使用会话筛选器快速实现。设置如下：点击确定后并不会实时生效，需在工具栏上点击“播放”按键：选中过滤结果中的会话，验证是否是我们想要的结果，如下：例4：想分析业务会话中，HTTP响应中包含“EagleId: 76b4389b17268142364156777e”的会话，请求中包含同样内容的会话忽略不记，如何设置过滤？分析：首先我们通过了解业务会话中包含的信息，知道该业务会从HTTP会话的响应Response Headers区域，从EagleId字段中获取对应操作的请求ID。但在HTTP请求中也有可能存在EagleId字段对我们监控分析响应中的EagleId字段造成干扰。现在希望只过滤出响应中包含“EagleId: 76b4389b17268142364156777e”的会话，应如何设置过滤器？
在会话筛选器中，选择“会话内容”，输入EagleId: 76b4389b17268142364156777e；在下面勾选开始偏移，经过统计，客户的HTTP响应的EagleID出现在会话中的位置，都在从会话开始位置偏移200字节以后。我们设置开始偏移200字节，就可以避开HTTP请求头中的EagleID字段。配置好以后应用会话筛选器，点击播放后，过滤效果如下：过滤后只剩下唯一一条会话。双击会话，验证是否过滤正确：阅读完本篇文章，相信你已经真正理解了CSNAS整个过滤系统，在不同的场景下，可以选用不同的过滤器来满足我们的分析场景。三种过滤器都可以自由选择，是运用科来DPI技术来添加过滤条件，还是用选择组合式来添加过滤条件。至此，和过滤相关的所有技术，我们就介绍完毕。相信耐心看完本系列文章的分析师对CSNAS的过滤器应用已炉火纯青，希望大家在以后的工作中，百尺竿头，不断累积分析经验，技术日益精进，早日成为网络分析大师！
|
发表于 2024-12-19 17:02:03
