[原创]案例分析－某电业局网络故障诊断。

菜鸟人飞 · 发表于 2006-4-30 11:24:07

案例分析－某电业局网络故障诊断

关键字：网络　故障　诊断　案例　分析　科来　sniffer　

一、故障描述
故障地点：
某电业局

故障现象：
网络严重阻塞，内部主机上网甚至内部主机间的通讯均时断时续。

故障详细描述：
网络突然出现通讯中断，某些VLAN不能访问互联网，且与其它VLAN的访问也会出现中断，在机房中进行ping包测试，发现中心交换机到该VLAN内主机的ping包响应时间较长，且出现间歇性丢包，VLAN与VLAN间的丢包情况则更加严重。

。。。。。。。

菜鸟人飞 · 发表于 2006-4-30 11:27:01

二、故障详细分析
1.前期分析
初步判断引起问题的原因可能是：交换机ARP表更新问题、广播或路由环路故障、人为或病毒攻击
需要进一步获取的信息：网络拓扑结构及正常工作时的情况、交换机ARP表信息及交换机负载情况、网络中传输的原始数据包
2.具体分析
首先，我们从网络管理员那儿，得知了网络中主机共450台左右，同时得到了网络的简单拓扑图，如图1所示。

（图1　网络原始拓扑简图）

从图1可以知道，网络中划分了6个VLAN，分别是10.230.201.0/24、10.230.202.0/24、10.230.203.0/24、10.230.204.0/24、10.230.205.0/24、10.230.206.0/24、，其中201～205这5个VLAN分别用于一个部门，而206为服务器专用网段。各VLAN同时连接上中心交换机（Passport 8010），中心交换机再连接到防火墙，由防火墙连接到Internet以及省单位。

菜鸟人飞 · 发表于 2006-4-30 11:28:40

大致了解了网络拓扑后，我们以超级终端方式登录中心交换机，发现交换机的负载较大，立即清除交换机ARP表并重启，但故障仍然存在，于是我们决定对网络进行抓包分析。
在中心交换机（Passport 8010）上配置好端口镜像（具体配置信息，略），并将安装科来网络分析系统的笔记本接到中心交换机的镜像口上，安装好后网络的拓扑简图如图2所示。

（图2　安装科来网络分析系统后的网络拓扑简图）

由于科来网络分析系统可以跨VLAN对数据进行捕获分析，所以在中心交换机上接入安装科来网络分析系统的笔记本后，网络的拓扑结构并未发生任何改变。
打开笔记本上的科来网络分析系统，捕获数据包约1分钟（捕获停止后发现确切时间是53秒）后停止捕获，并对捕获到的数据通讯进行分析。

菜鸟人飞 · 发表于 2006-4-30 11:31:29

将节点浏览器定位到物理端点下的本地网段，我们发现MAC地址为00:00:E8:40:44:99的主机，下面共有40个IP地址，如图3。

（图3　定位本地网段的端点视图）

我们知道，在正常情况下，一个MAC地址下面出现多个IP地址，只可能有以下几种情况之一：网关、代理服务器、手动绑定多个IP地址。咨询网络管理员得知，该网段内的机器均只绑定了一个MAC地址，且没有代理服务器，同时该MAC也不是网关MAC地址，由此，我们怀疑，该主机可能存在欺骗攻击。

菜鸟人飞 · 发表于 2006-4-30 11:32:30

右键单击图3中的00:00:E8:40:44:99节点，在弹出的菜单中选择“定位浏览器节点(L)”命令，将节点浏览器中定位到00:00:E8:40:44:99。查看协议视图，发现该节点主动发起了22613个ARP回复数据包，而ARP请求数据包只有2个，如图4所示。

（图4　00:00:E8:40:44:99主机通讯的协议分布）

从图4下面的数据包可以知道，00:00:E8:40:44:99主动向网络中的其它主机发出ARP回复数据包，内容是告诉对方主机，自己是某个IP的主机，而这个IP在不断地变化。由此可以断定，MAC地址为00:00:E8:40:44:99的机器在进行ARP欺骗。

菜鸟人飞 · 发表于 2006-4-30 11:33:50

同时，诊断视图的ARP诊断事件区时，也给出了相应的提示信息，如图5。

（图5　00:00:E8:40:44:99的ARP诊断信息）

经过上面的分析，我们确定00:00:E8:40:44:99存在ARP欺骗攻击，网管人员立刻开始查找该主机，由于他们以前做了IP与MAC地址的统计表，所以很轻松地就找到了该机器。在二层交换机上拨掉该主机的网线，网络很快恢复正常，VLAN间的内部访问和外部访问（包括Internet和省网单位）速度均恢复正常。
另外，从图3的显示可知，00:02:B0:BC:68: D2、00:0B: DB:4B:46:81、00:11:25:8D:7D:C1 三台机器占用的流量较大，通过查看这几台机器的具体流量后，发现00:02:B0:BC:68: D2和00:0B: DB:4B:46:81在互相进行数据拷贝，而00:11:25:8D:7D:C1对应的IP地址是10.230.204.1，它是10.230.204.0/24网段的网关，占用较量较大属于正常情况。由此基本断定网络时断时续的根源即前面找出的00:00:E8:40:44:99主机。
找出故障点，并帮助网络恢复正常后，我们因为其它的事情离开了现场，并未去排查00:00:E8:40:44:99的具体情况。
下午接到电业局网管人员的电话，告知在找到MAC地址为00:00:E8:40:44:99的主机时，该用户仅在使用WORD进行文档编辑，并未人为的进行攻击，然后安装防病毒软件并对该主机进行查杀，查出病毒若干，病毒查杀后，再次将该主机接入网络，网络通讯仍然正常。由此得出引发网络故障的原因是MAC地址为00:00:E8:40:44:99的主机感染蠕虫病毒，该病毒自动进行ARP欺骗攻击，导致网络访问的时断时续。

三、总结

中大型网络中，网络故障错综复杂，不借助专业网络分析工具的情况下，很难对故障进行排查，如本例中，如果不对数据包进行捕获，即使在交换机上查看流量，由于00:00:E8:40:44:99的流量并不特别大，所以我们也很难找到故障点。
同时，由于此次捕获数据包的时间较短，仅仅只有53秒，所以网络中可能还存在一些未被检测出问题的主机（这些主机当前未启动，不会收发相应数据包，故无法查找）。所以，对于企业的网络运行，需要网络管理人员使用专用的网络分析工具，对网络进行长期有效的监测和分析，才可以最大程度地排除可能的网络故障和网络安全威胁。

[ 本帖最后由菜鸟人飞于 2006-4-30 11:35 编辑 ]

菜青虫 · 发表于 2006-4-30 13:17:16

多谢楼猪，收下保存

目前正在看这方面的东西

目前ARP攻击太多

怎么防啊

ARP- S来绑定IP和MAC在多数情况下可靠吗？

cwym29 · 发表于 2006-4-30 13:44:01

在客户机和网络设备（路由器/交换机）上同时做arp绑定，应该有效。

wfu_liuxh · 发表于 2006-5-15 22:59:56

如果将机器的mac地址人为修改，网管软件如何能够识别出来？

libin125_0 · 发表于 2006-5-16 09:28:15

谢谢楼主！！
正在学习关于科来的网络分析系统。
十分精彩的实例啊。
谢了！

viatrue · 发表于 2006-5-25 18:55:33

好贴，但是用SNIFFER能查出ARP攻击吗？

菜鸟人飞 · 发表于 2006-5-26 11:00:56

Sniffer，可以啊。
不过Sniffer的专家诊断里没有ARP的诊断信息，要查找ARP的相应攻击，使用Sniffer分析起来会相对麻烦一些，需要对数据包进行详细分析，会花费更多的精力。

wysiwyw · 发表于 2006-5-27 11:35:50

新来乍到，多学习学习

enick · 发表于 2006-6-2 14:49:23

好贴啊,顶!!!!!!!!1

xingyi · 发表于 2006-6-2 19:18:38

谢了哦，看下啦~~！

hana · 发表于 2006-6-7 22:02:00

先看看哦.....................

jiesen · 发表于 2006-6-7 22:36:45

呵呵，比较细致的分析！当然我们也可以从连接图上直观看出一些问题的！
如果流量比较大或网络信息点比较多时，也可以先重点观察流量最大哪几个网段的情况！

Blue_sky · 发表于 2006-6-8 19:52:28

对这个软件感兴趣，不知道能不能找到。

liuyaobin · 发表于 2006-6-10 13:16:53

太精彩.谢谢了!哈!!!!!

折儿梗 · 发表于 2006-6-11 11:59:44

谢谢楼主！！十分精彩的实例啊。

peterhu318 · 发表于 2006-7-6 11:36:04

不错。解决实际的问题的才是真正的高手。

boick · 发表于 2006-7-6 18:38:49

我现在碰到这样一个问题,某企业的网络是由我们维护的,但是他们目前频繁的出现上网时好时坏故障,用Sniffer portable 软件来检测网络运行情况,但是又不知道该如何很好的使用它,请哪位大哥指点,指点..

brook2000 · 发表于 2006-7-15 16:57:24

顶了。。。。。。。

aiethac · 发表于 2006-7-16 00:22:06

新来乍到，多学习学习

rois1881 · 发表于 2006-7-18 10:26:12

谢谢LZ，请问这套分析系统需要多少米呀？

菜青虫 · 发表于 2006-7-18 10:51:11

原帖由 boick 于 2006-7-6 18:38 发表
我现在碰到这样一个问题,某企业的网络是由我们维护的,但是他们目前频繁的出现上网时好时坏故障,用Sniffer portable 软件来检测网络运行情况,但是又不知道该如何很好的使用它,请哪位大哥指点,指点..

抓包分析呀，具体SNIFFER的使用，这个你就看点教程学习下了，

要不你抓点数据包，发上来，大家一起讨论交流啊

最好控制在2M左右，因为论坛最大支持2M附件的

aiethac · 发表于 2006-7-18 11:54:57

好贴啊,顶!!!!!!!!

风清云淡 · 发表于 2006-7-19 11:11:26

精彩～　　　受益匪浅！

zmc837 · 发表于 2006-7-30 11:35:07

这样实例分析太好了，很受启发，好帖子

清水飘萍 · 发表于 2006-7-30 18:40:23

这个收藏呀！感谢版主的分享！

[原创]案例分析－某电业局网络故障诊断。

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

关于 Sniffer protable 软件的一些故障描述

[原创]案例分析 －某电业局网络故障诊断。

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

关于 Sniffer protable 软件的一些故障描述

[原创]案例分析－某电业局网络故障诊断。