基于数据包的P2P下载行为特征分析

long_323

近日学习p2p协议，觉得元真伟写的《基于数据包的P2P下载行为特征分析》不错，由于是PDF的，所以自己总结了一下，希望对大家有用！
p2p模式的核心技术是资源定位。
据粗略统计，p2p业务对带宽占用比大致是40%-60%，极端情况下会占用80%-90%，被称为“带宽杀手”，消耗了大量的网络资源，并导致ISP运营商网络关键链路的拥塞和其他互联网应用性能的快速下降。
通过数据包特征检测识别p2p应用，提供基于总量和逐个用户的p2p流量管理，减轻网络扩容压力变得日益重要。
通过对数据信息包括IP、传输域、数据包流量等信息，分析p2p文件下载行为的特征，包括过多的数据包量、TCP数据包占数据包比例、特定数据包大小占比以及目的端口的重复率等，并以这些特征为基础，在通过对比应用层数据包中的特殊关键字，来分辨使用者所使用的是哪一种p2p文件下载、进行下载行为。
    eMule 是一种需要依赖中心服务器搜索网络上共享的文件。特点是搜索速度快并且具有全网搜索功能，它允许客户端传输任何类型的文件，且能自动地叫交换来源继续传输文件。
    BitTorrent 简称BT。测传输协议无法直接搜索文件，使用者必须先自行寻找种子（seed）。种子中包含服务器（Tracker）网络位置、最初来源网络地址、文件信息、文件名、目录名、长度等，最后是片段长度以及片段的Shal校验码等文件相关信息，然后利用该种子才能下载所需文件。
   整个BT发布体系包括：含有发布资源信息的torrent文件，作为BT客户端中介者的tracker服务器，遍布各地的BT软件使用者（peer）。  
特征分析：
1、过多的数据包量   p2p文件下载软件在执行时需要与服务器或其他客户端连接，会发出大量的数据包。实际观察p2p文件下载软件执行时的情况，可以发现：                    当执行时，UDP数据包的数量变化上升，而当进入下载或上传状态时，TCP数据包的数量则会迅速增加。
                   另外p2p应用特点是：持续时间长、平均速度高、以及传输大量数据包的现象
2、相等长度的UDP数据包比例    正常上网、发邮件等一般使用者发出UDP数据包的比例很少。实际测试环境，一小时UDP不超过个位数，甚至为0，所以TCP数据                             包占几乎的100%。而p2p应用汇总，大部分UDP数据包的长度相等，且都为大包(>1000).表现：相同大小UDP数据包
                          明显增加，并都为大包。
3、源端口上有较高的连接数     当下载进入较稳定的状态时，开始双向进行传输后，会发现单一个源IP会与多个IP连接来进行文件共享行为，
                             通常行为时同一个IP的固定端口与许多不同的目的IP的不同端口号连接。
4、数据包内容关键词    eMule 通过TCP传输资料，而控制信息可以通过TCP，也可以经由UDP来传送。通讯协议的资料数据包和控制数据包开头第一个字节的值                            是固定的。eMule是“0xc5”，接下来的4个字节表示整个数据包的长度。后来eMule后来加上一个功能，可以将资料压缩以节省带                             宽的浪费，因此采用“0xd4”。我们可以利用这前5个字节来判定属于eMule数据包。
                       BitTorrent 资料数据包的开头有固定的格式，第一个字节是固定值：“0x13”；接下来的19个字节代表一个固定的字串：
                       “BitTorrent protocol”。可以将这20个字节的值当做BitTorrent的数据包特征。
                    而在其UDP的数据包内容会出现“Info_hash20……get_peers1”字串；而其TCP数据包内容会出现“GET/announce info_hash=%”字串。                       我们将这些当做BitTorerent的数据包特征。
5、可以通过常用的端口    电驴：4661;4662;4672;40700   迅雷：端口范围3076 - 3077 并且地址为 202.96.155.91、210.22.12.53、61.128.198.97
                     或者端口范围  5200 6200

徐徐渐进

相当不错，如能结合DPI和DFI技术进行更深入的分析和介绍，这绝对会成为一个精华帖！

u4j3ub

相当不错相当不错相当不错相当不错

wangluofang

收藏贴，希望能够还有其他更好的网络风暴特征分析文章！

zhiye

写得还不错！顶下
写得还不错！顶下
写得还不错！顶下
写得还不错！顶下

silbermond

emule现在主要靠KAD过活，KAD搜索不需要中心服务器的

long_323

6# silbermond
看来对emule有研究，详细解释一下吧

hailingege

强烈支持 呵呵   最好能加上DPI的相关技术就更好了

shpkd

学习，谢谢。支持楼主。
写的好，顶。

jony6

恩~~写得不错!~学习了~~理论性很强~~

ngnway

P2P应用技术发展
  第1代集中式的P2P应用： Napster模式，在对等计算机上运行的这类应用通常使用一个固定的TCP端口，这种模式从管理员角度来看，第一代的P2P应用是比较容易处理的，管理员可以简单地使用可根据协议端口监测网络的防火墙或者路由器限制P2P应用的流量。免费(Free)文件共享理念被保留下来，分布式更易于通信，被用户接受和追捧，在这个模式的驱动下，产生了大量新的、难于控制的P2P应用。
      第2代分布式P2P应用：允许计算机能够在任何时间、任何地点连接到其他计算机，而不需要中心服务器的干涉，所有的对等计算机直接对其他的对等体进修响应和文件共享。第二代P2P应用采用的方法中还包括一些用于规避网络安全设备的“技巧”： (1)端口跳跃：通过这种方法，P2P应用将不再使用一个固定的端口号，而是采用随机的或者是用户手工设定的协议端口号。 (2)常用端口号：一些P2P应用使用80端口——官方规定的HTTP协议端口，来避开防火墙的限制，获得对Internet的访问。这是一种很狡猾的做法，因为企业通常只开通特定的、常用的端口(如80端口)访问Internet；类似地，一些运营商还对80端口提供更优化的流量，因为这些流量被认为是来自HTTP访问Web的。 (3)HTTP隧道：在很多企业网络中，Internet的访问是通过HTTP带来完成，对于非HTTP应用或者未经过HTTP的应用将不能访问Internet。于是很多P2P应用将HTTP协议作为自己基本协议，这样就避开了这些限制，使得网管设备的限制实效。 (4)HTTP代理隧道：P2P客户端将要发给Web边缘的对等计算机的流量使用隧道技术进行封装，通过代理（如Socks代理）和一些第三方的隧道应用（如Socks2HTTP），使P2P流量看起来像是标准的代理流量，而这些流量通常是不被限制，从而达到避开限制。对于这些应用的识别和控制是非常困难的，除非借助应用层可视性检测工具，检查传输协议(如TCP协议)的载荷（Payload）部分，对不同的应用进行更精确的识别。

      第3代P2P应用：第3代P2P应用是一种介于集中式和分布式结构之间的混合折中结构。这一类型的网络使用“超级对等体”（超级节点）来充当中心服务器的角色，一方面维护网络的分布式结构，一方面保证良好的搜索点击率、网络速度和可伸缩性。超级对等体是从众多对等体中随机选择，甚至被选择的对等体自身对此也不会有所察觉。超级对等计算机向为数不多的一组对等计算机提供索引服务，同时超级对等体之间也彼此进行通信，文件传输在对等计算机之间直接传输。通过限制处理搜索的对等计算机的数量，同时也消除了使用固定、专用服务器带来的延迟，该类型的网络在提供很高的搜索性能的同时，也继承了分布式网络的特性。某些第三代P2P应用使用SSL协议(如HTTPS，是用于加密Web流量的协议)对流量进行加密保护。

     第4代P2P应用： P2P应用最新发展的一个趋势，典型代表有Skype、eMule 0.47c和BitComet 0.80。这一代的P2P应用从技术上看，主要有两个特点： (1) 通过增加无用随机数据和数据进行加密这两个手段使得协议流量特征模糊化 ，如最新版的eMule、BitComet等软件。 (2) 多协议并用（如迅雷，HTTP、FTP、专用协议并存），逃避监管。 日益复杂精巧的设计和开发，P2P新应用不断涌现，功能更强也更易使用，为了使P2P应用运行畅通，新一代P2P软件比上一代越来越智能，其中主要是P2P应用由于其独特的设计理念，在客户端软件中加入了大量对抗网络封堵、限制的技术手段，使得P2P流量管理检测难度水涨船高，同时需要不断升级协议特征库。P2P应用使人们对使用Internet的方式发生着革命性的改变，P2P应用的潮流不可阻挡，只能顺应潮流，采用有效处理策略。

biglynx

确实不错！我第一个帖子里抓到包，体现就是像LONG说的一样

firstrate

很不错的文章  谢谢分享了

yu39689

说实话，P2P更有害的是很消耗路由器资源。