高新区房产办证业务系统故障分析解决报告

孤独的意尹者

1故障环境
高新区房产办证业务系统运行的网络环境如下图所示：

说明：
1，        房产办证业务系统主要是用于在线办理各种房产相关证件的业务信息系统，是房产业务的核心组成部分，其办理业务的客户端一般分布在各个区县房产办证大厅或行政服务中心；
2，        高新区房产局办证业务机器主要通过管委会的政务专网出口与市房产局的业务服务器进行数据交互；
3，        业务客户端通过防火墙NAT访问业务服务器，业务服务器的真实地址为192.168.10.41，但是其通过防火墙的地址映射功能映射成10.12.168.197供业务客户端访问；
4，        房产办证业务系统为C/S架构，客户端需要向服务器上传办证相关的数据和图片。
2故障现象
故障现象主要表现为：业务客户端连接业务服务器正常，但在进行图片上传时，出现“无法连接到服务器”的提示框，具体如下图所示：


3 故障分析
因为是业务系统故障，非一般的网络故障，而且使用者并不了解业务系统的网络行为特征，因此，除了捕获数据包对业务系统进行分析之外，似乎没有其他更好的方法了。
1，        首先，在客户端机器上安装科来网络分析系统，并开启对数据包的捕获，然后，运行房产办证业务软件，我们通过科来网络分析系统的“数据包”视图可以观察到，房产办证业务软件运行后，便与房产业务服务器10.12.168.197的1521端口建立连接并传输响应的数据，具体如下图所示：



2，        当我们使用办证业务系统准备上传相关图片文件时，我们根据科来网络分析系统的“数据包“视图发现，在这个过程中，客户端尝试与192.168.10.41建立FTP连接，并且有icmp超时差错报文产生，如下图所示：

根据这个现象，我们推测房产办证业务系统可能是通过FTP来上传图片的，但是，其应该与10.12.168.197建立连接，怎么会与服务器的真实地址192.168.10.41建立连接呢，这个地址可是没有路由可以达到的，这也是产生ICMP差错报文的原因。
3，        既然客户端在上传图片时是尝试与服务器的真实地址建立FTP连接，那么，客户端业务系统这边肯定存在一个可以设置FTP连接地址的地方，我们在业务软件的界面中未发现相应的设置点，于是便打开业务软件的安装目录，在其安装目录先发现了一个名为house的初始化文件，其内容如下图所示：

4，        我们将其改为10.12.168.197并保存，然后将业务软件重启，并尝试向业务服务器上传图片，同时抓包，我们通过科来网络分析系统的“数据包”视图发现，客户端终于与服务器10.12.168.197建立了FTP连接，如下图所示：

5，        本以为故障已经解决，但是图片依然没有上传成功，那么到底是怎么回事呢？我们仔细的看了一下数据包，发现，业务客户端与服务器建立了FTP后，服务器尝试以一个随机端口与客户端建立TCP连接，但是客户端没有响应服务器的请求，如下图所示：

6，        为什么客户端没有响应服务器的TCP连接请求呢? 是否是网卡防火墙的原因呢？尝试将客户端网卡防火墙停用，再次侧试上传图片，上传成功，

4 故障解决
我们将所有业务客户端的业务软件安装目录下名为house.ini的文件中的“host=192.168.10.41”改为“host=10.12.168.197”，保存后，并将其网卡的防火墙关闭，故障解决。
5 总结
1，这个故障属于应用层的故障，虽然故障本身并不复杂，但是如果不是通过抓包分析，很难定位解决！这告诉我们：在遇到一些看似棘手的故障时，最好的解决入手点就是数据包分析！
2，我们平日里最好了解清楚各种业务系统的网络行为特征，这些可以帮助我们大大提高故障解决的效率。
如何了解业务系统的网络行为？一般有两个途径：一就是业务系统的开发手册，一个就是站在网络运行的微观层面做数据包分析。一般而言，前一种并不一定有这方面的描述，我们可以通过数据包分析的方法来建立业务系统网络行为和运行基准，从而提高我们对业务系统的熟悉度，方便我们对业务系统进行相应的优化或改进，提高我们业务系统的运行效率。

[ 本帖最后由 孤独的意尹者 于 2009-3-2 09:28 编辑 ]

附件为相关数据包

孤独的意尹者

好久没发帖了，今日贡献故障分析一贴供大家交流，感谢大家支持!

oldjiang

简洁明了的过程！

从零开始

好久没看到孤独兄的大作了，呵呵。

飞雪

孤独兄太厉害了，是我辈的楷模

百乐

这个问题不可能突然上不去的吧...

孤独的意尹者

原帖由 百乐 于 2009-3-2 21:15 发表
这个问题不可能突然上不去的吧...

问得好！
这是由于业务客户端搬完家后出现的，这在文档中没有描述出来。

wastebaby

经典  ，学习了。。。

sweet851709

谢谢楼主分享，顶一下！

xiaoshazi

好话他们都说了，我就支持一下吧。孤独的功力是很深的

xzs2003

好久没见面聊了，阿超，技术更上层楼了

bsmyl

经验太宝贵了。。。。。。。。。

best坏小子

好文章呀。谢谢分享                                                  ~

kuailexiangban

好文章呀。谢谢分享                                                  ~
best坏小子 发表于 2010-8-3 20:27

借用一下，呵呵~~~~

syewsd

这么好的报告，不ding天理难容！

Yeafox

下来学习学习,thanks

diy008

经验太宝贵了，新人要多少学习！！！

5i777

经典  ，学习了。。。

iejtqy

太厉害了，不佩服都不行，功底深厚。。

ihndream

真是好东西，谢谢了。看来还要多多学习。

nitchina

dddddddddddddddddddddddd

yeliang2012

看上一变就懂了。！！但是让自己去找的话，肯定不行了学了个思路

半夜鸡叫

xiexie!