某局不定时出现网络严重延迟故障分析

天空之城 · 发表于 2010-7-12 19:24:57

本帖最后由天空之城于 2010-8-16 16:01 编辑

这是今天在客户的网络中进行检测时发现的故障，由于时间比较仓促，写的很是简单。
主要是对抓取的数据包进行回放后做的分析判断。

一、故障背景

近日接到某局信息中心电话，反映网络中总是不定时的出现网络速度特别慢的问题，多则十几秒，短则几秒钟，虽然也对某些问题主机进行了处理，但问题依然存在。在办理业务时经常出现无法上传数据的现象，严重影响了办公的效率。希望我们能到现场去分析一下问题的原因，并找出引起这个问题的故障主机。

放下电话后，马上坐车赶到该局信息中心，在同信息中心管理人员进行沟通后了解到该局的网络拓扑结构如下：

由于无法确定问题主机所在的位置，只好在核心交换机上设置端口镜像，将到市局网络、省局网络的两个端口的进、出流量镜像到空的端口上，接入安装有科来的笔记本，进行现场的抓包。

一、故障重现
在捕获了一段时间的数据包后，发现网络中的数据流量并不大，每秒钟只有几百个数据包，每秒位的流量也只达到了850.376Kbps，并不会对网络造成多大的影响。

又捕获了一段时间后，突然发现流量激增，每秒数据包数达到了25000多个，每秒位流量更是达到了22.484Mbps，如下图：

看来这便是造成网络不定时出现严重延迟现象的原因了，通过查看“数据包”视图，发现这一时间段内发送的主要协议是UDP，源主机都是72.20.96.73：2425，目的主机都是不同网段的2425端口，并且时间间隔非常短，只有0.000002秒，大小都是固定的112字节

又过了一段时间之后，又出现了这种现象：

可以看到有两台主机的对方通讯主机数都已经达到了数万个，而这两台主机只是普通的办公用机，并不是服务器。

随后又捕获到了相同现象的主机，通过对这两台主机进行查杀，均在其上发现了数量不等的病毒，之后又对网络进行了一段时间的监视，没有再发现突发流量激增的情况。

后记：本文是根据实际捕获的数据包进行分析的，网络中除了流量激增的情况外，还存在着蠕虫病毒、ARP请求风暴的情况，但并不是引起网络不定时出现大的延迟的主要原因。

牛二 · 发表于 2010-7-13 08:46:46

从概要视图中的平均包长大小（251.815K）和数据包大小分布可以初步判断网络中应该存在扫描行为。

hgncwhj2008 · 发表于 2010-7-13 10:41:25

thank you for your sharing!!!!!!!!!!!!!!!!!!!!

菜鸟人飞 · 发表于 2010-7-13 21:25:12

楼主分析思路清晰，过程简洁明了，值得学习，谢谢！

sam.chen · 发表于 2010-7-14 15:12:02

顶一个！值得学习！

iejtqy · 发表于 2010-7-14 20:04:36

简单明了的分析，有没有人可以回答我个问题是这个的：例如一个1M网络它每秒多少的数据包超
过多少就会影响到网络。

bing_yuan · 发表于 2010-7-14 22:52:20

学习了，谢谢楼主的分享。。。。。。。。。。。。。

robur · 发表于 2010-7-15 01:33:13

办税大厅，呵呵，税务啊，他们的内网都够烂的……

wastebaby · 发表于 2010-7-16 21:34:18

办税大厅，呵呵，税务啊，他们的内网都够烂的……
robur 发表于 2010-7-15 01:33

呵呵，看样子华为与CISCO新出来的NAC钱景无限啊，通过交换机的802.1x控制客户端接入，以ACS服务器连接WSUS，VIRUS-SERVER，AD服务器查询客户端是否满足条件以决定其是否可以接入网络及接入的网络权限，

小鹏 · 发表于 2010-7-19 17:26:07

分析的很透彻 O(∩_∩)O~ 学习了

heroflark · 发表于 2010-7-27 09:12:07

情况很明了.....拿分................

pc新手 · 发表于 2010-9-26 11:24:50

LZ辛苦了学习了

邵小青 · 发表于 2010-10-16 14:19:13

分析的简单明了

kelai520 · 发表于 2010-10-17 10:48:13

很不错很不错简单明了
希望下次可以一张APR风暴的现场解决图例或是蠕虫造成的内网图例
小弟学习了

stormqi · 发表于 2010-10-19 13:18:44

分析的简洁明了不错！学习了！

swnuhyb · 发表于 2010-11-7 11:23:42

恩，说的很好

yu000 · 发表于 2010-11-8 09:06:08

学习了，不错，谢谢

shanghai189 · 发表于 2010-11-8 13:00:43

kankan,
kankan,

xyzl7477 · 发表于 2011-2-14 15:32:39

学习中。。。。。。。。。。。。。。

lingping · 发表于 2011-2-26 09:13:44

学习，谢谢！

aiko88 · 发表于 2011-3-2 11:47:23

学习了。。

xixi2k · 发表于 2011-3-10 16:42:48

不错的分析！谢谢分享。

asnli · 发表于 2011-3-10 16:52:56

study....................

红盟过客 · 发表于 2011-3-12 11:47:03

分析的简洁明了不错

mqy870109 · 发表于 2011-6-30 18:37:02

楼主分析思路清晰，过程简洁明了，值得学习

lan4250 · 发表于 2011-7-8 13:36:33

本人不是这样认为
看LZ的图 2425端口是内网的沟通工具如:飞鸽等默认的端口他的原理就采用 arp形式那么当客户端刷新一次在线人数的情况就会产生一个arp攻击这个时候瞬时件间每秒发包率就很大
我的网络也有此问题但是大家不要在一时间刷新应该问题不大

风云菜鸟 · 发表于 2011-8-2 16:05:53

值得学习

yanx79 · 发表于 2011-8-4 09:29:40

楼主的思路清晰明了，学习了！

笑问情緣 · 发表于 2011-8-5 17:01:18

26楼说的很有道理，虽然源主机查出了病毒，中病毒也是主要原因，但飞鸽确实也是有一定影响，但在同一VLan内的主机数越多，影响就越大。

despair · 发表于 2011-8-26 17:13:30

扫描行为？

某局不定时出现网络严重延迟故障分析

本帖子中包含更多资源

评分