[原]使用科来进行对比分析，解决网络慢的故障

robur · 发表于 2009-10-27 12:43:33

本帖最后由 robur 于 2009-11-1 16:36 编辑

前些天接了一些任务，现在总结一下经验，谈一谈如何利用科来进行对比分析。

进行网络分析时，我们通常习惯只使用一套分析系统，在网络中的一个节点上进行分析。一般来说，我们会用交换机做一个镜像端口，分析整个交换机上的流量。如果网络中存在异常流量，那么结果将是显而易见的。这种分析方法对于病毒、蠕虫等异常流量引发的网络故障非常有效。

但是前些天笔者遇到的某大学园区网的故障（http://www.csna.cn/network-analyst-17085-1-1.html），使用这种常规的分析方法却不凑效了。
网络不定时出现打开网页缓慢的情况，从单点分析的结果来看，网络中并没有明显的异常流量，只是存在着大量的TCP重传。按常理分析，出现TCP重传意味着网络中发生了丢包。而在没有异常流量的情况下发生丢包，一般来说就是网络拥塞。
可是，网络中的ICMP却畅通无阻。无论何时ping公网任意IP，延迟都没有明显的变化。根据该园区网没有QoS机制来看，如果网络发生拥塞，那么所有数据包的丢弃概率应该是相同的，不可能发生一类数据包被丢弃，另一类被转发的情况。

后来我们尝试了在网络中的许多节点上进行单点分析，但都未见问题所在。我们能直观地看到的结果就是网络在丢弃TCP数据包，并且伴有大量的TCP重传，而ICMP则不受影响。我们又查看了交换机和路由器的负载，均在正常范围之内。

大型网络不可能使用替换法，因此如何判断故障点的位置显得非常棘手。

最后，我们在路由器的WAN口和核心交换机的上行口，分别作了镜像，同时使用科来进行抓包分析。最后发现，在路由器的LAN接口和核心交换的上行口之间发生了丢包（其实它们中间还有一个防火墙），因此路由器或防火墙肯定有一个存在故障。

后来，客户叫来了华为的工程师，为其更改了路由器的配置（据说是NAT的配置），故障消失，这跟我们的分析结果基本相符。

使用对比分析法的要点：
1、适合网络出现故障，但又捕捉不到异常流量的情况；
2、应将多套科来网络分析系统部署在{一组数据}必须流经的几个网络节点上（比如内网无问题，但上Internet缓慢，则应部署在交换和路由上）；
3、尽量使用过滤器，减少捕获的流量，只捕获受影响的流量即可（必须在达成第一条的情况下）；
4、多个节点上的分析系统应当尽量同步启停。如果一台计算机上有多个网卡，可以开多个工程，这样所有工程的时钟是同步的；
5、手工对比数据包是否产生丢弃，可以参考IP报头中的IPID字段。至于手工对比方法，可以考虑“拆半”方法。

科来是一套强大的工具，但关键在于如何运用。网络分析系统能否发挥最大效用，关键要看你部署的方法。如果部署不恰当，那么再好的系统也发挥不了它应有的作用。

感谢一起出现场的天空之城/guanfeng1两位同事。

tlbaobao · 发表于 2009-10-27 14:23:23

感谢楼主分享对比分析法值得学习！！！！！！

天空之城 · 发表于 2009-10-27 14:44:14

针对不同的故障进行分析，并做不同的部署，保持一个灵活、清晰的思路，这点很重要。感谢robur的鼎力相助。

gu_chong · 发表于 2009-10-27 15:07:05

多段同时部署，同时捕获，从而确定哪段网络丢包或哪个网络设备丢包，非常值得借鉴。

thousandmoun · 发表于 2009-10-27 15:10:30

方法值得借鉴，关键时候保持清醒的头脑尤为重要

徐徐渐进 · 发表于 2009-10-27 15:15:35

在分析问题时，思路、部署位署，了解客户的网络拓朴，数据流向等是很重要的，值得借鉴。

nimama · 发表于 2009-11-1 17:38:12

值得学习一下，多多学习，多多受益。

songtt77 · 发表于 2009-11-3 08:22:53

在分析问题时，思路、部署位署，了解客户的网络拓朴，数据流向等是很重要的，值得借鉴。

fantasy9494 · 发表于 2009-11-5 11:01:24

在学习阶段虽然看不大懂但是还是支持下

lywindly · 发表于 2009-11-5 17:42:19

拜读完才发现自己才明白皮毛不过可惜了少了最终原因的问题案例是可遇不可求啊

lmc791204 · 发表于 2009-11-17 10:16:51

感谢分享经验!!!!!!!!!!!!!!!!!!

yeanjq · 发表于 2009-11-19 14:22:41

在学习阶段虽然看不大懂但是还是支持下

qgujb447 · 发表于 2009-11-20 09:49:35

不错，正在学习中。。。。。。。

cacheon · 发表于 2009-11-20 15:47:26

好贴，经验啊，加精华，可惜你只是大概判断，要是能定位并排除就好了，

osx1969 · 发表于 2009-11-20 23:40:22

楼主的方法值得学习.谢谢分享！！！

lijian1984 · 发表于 2009-11-21 10:37:42

支持楼主，解决分析问题的思路很清晰，学习了！

yokochanw · 发表于 2009-11-24 15:50:20

值得学习值得借鉴，谢谢楼主。。。谢谢分享

liny600299 · 发表于 2009-12-1 11:40:26

谢谢,学习了,对我们帮助很大..............................

kvvyy · 发表于 2009-12-4 10:15:44

:) :) :) :) :) :)
思路很重要

ttyard · 发表于 2009-12-4 13:42:28

我想应该很少能碰到这样的问题。设置不当造成的问题吧。

whhdf826 · 发表于 2009-12-4 14:48:16

感谢楼主分享！学习了！！！

sky1qaz · 发表于 2009-12-8 10:47:06

现实情况总在变换，问题层出不穷，就看个人的机灵与判断效果了，即使问题再多，但也逃离不开那几个关键问题~~~认真细心判别才是真正的王道~

chuanqing68 · 发表于 2009-12-14 12:06:40

公司正好有这问题，，，来看能不能学习借鉴一下经验。。谢

hdlxdl · 发表于 2009-12-26 11:46:14

遇到问题用创新的方法，用不同的思路来分析故障，如对比分析法等，是我们值得学习的啊

jbxx · 发表于 2010-1-5 15:08:35

在分析问题时，思路、部署位署，了解客户的网络拓朴，数据流向等是很重要的，值得借鉴。

cpf4974856 · 发表于 2010-1-22 13:37:03

具体是什么原因楼主看来也不是很清楚的

guanfeng1 · 发表于 2010-1-28 09:31:47

楼主提供了一种解决思路，在解决问题的道路上思路是很重要的。

wangluofang · 发表于 2010-1-30 14:27:49

感谢楼主分享对比分析法值得学习！！！！！！

robur · 发表于 2010-2-2 15:25:02

具体是什么原因楼主看来也不是很清楚的
cpf4974856 发表于 22/1/2010 13:37

客户使用的都是H3C的设备，我只研究思科，对H3C的设备不熟悉。
再有就是权限和对客户网络的了解都很有限，不可能像自己做的网络一样心知肚明。

dancjd · 发表于 2010-2-4 15:50:30

顶感谢LZ分享

[原]使用科来进行对比分析，解决网络慢的故障

评分