P2P技术简介

nullP2P技术简介P2P技术简介2006年5月7日一点体会一点体会资料检索 google等搜索引擎； 中国学术期刊网； 万方数据库； 国内外相关技术网站； 草案、标准等 跟踪国内外研究现状 人家在做什么，怎么做的？ 存在的问是什么，相关的问题？ 找到研究的共性和个性一点体会一点体会找到自己感兴趣的研究方向 研究兴趣建立在专业基础之上； 兴趣是培养的； 确定研究思路与 需要制定你自己的研究思路； 计划是必须的； 从最基本的做起，跟踪、模仿、寻求突破 跟踪是科研的第一步； 尝试着实现别人提出的； 找出问题，自己解决.报告内容报告内容P2P概念 P2P分类 P2P的网络典型拓扑结构讨论 P2P的查询算法 P2P网络技术应用领域 P2P的研究方向探讨P2P网络技术的概念和定义P2P网络技术的概念和定义1、Peer-to-peer is a type of Internet network allowing a group of computer users with the same networking program to connect with each other for the purposes of directly accessing files from one another's hard drives. 2、Peer-to-peer networking (P2P) is an application that runs on a personal computer and shares files with other users across the Internet. P2P networks work by connecting individual computers together to share files instead of having to go through a central server.P2P网络技术的概念和定义(cont’)P2P网络技术的概念和定义(cont’)3、P2P是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源（处理能力、存储能力、网络连接能力、打印机等），这些共享资源需要由网络提供服务和内容，能被其它对等节点(Peer)直接访问而无需经过中间实体。在此网络中的参与者既是资源（服务和内容）提供者（Server），又是资源（服务和内容）获取者（Client）。P2P网络技术的概念和定义(cont’)P2P网络技术的概念和定义(cont’)P2P is a special distributed system on the application layer, where each pair of peers can communicate each other through the routing protocol in P2P layers. Overlay网络（为实现某一应用目标，若干peer互联形成一个overlay network） Overlay网络是在应用层之上的网络。由对等点连结而成的网络。 对等联网模式的理念—在资源共享中，表现为“ 人人为我，我为人人”的思想。 nullnullP2P的特点P2P的特点非中心化 可扩展性 健壮性 高性能/价格比 隐私保护 负载均衡 根据具体应用不同， 可以把P2P分为以下这些类型：根据具体应用不同， 可以把P2P分为以下这些类型：提供文件和其它内容共享的P2P网络，例如Napster、Gnutella、eDonkey、emule、BitTorrent等； 挖掘P2P对等计算能力和存储共享能力，例如http://setiathome.ssl.berkeley.edu/、Avaki、Popular Power等； 基于P2P方式的协同处理与服务共享平台，例如JXTA、Magi、Groove、.NET My Service等； 即时通讯交流，包括ICQ、OICQ、Yahoo Messenger等； 安全的P2P通讯与信息共享，例如Skype、Crowds、Onion Routing等。P2P体系结构P2P体系结构根据对象查询机制的区别和P2P的逻辑拓扑结构分为三类： 1、完全集中式 研究目标及重点是应用模式从C/S模式向对等模式的转变 优点：应用模式消除了应用服务器的瓶颈问题并缓解了应用流量的不均衡性，在目录服务器获取资源索引信息之后的所有数据的交换都是在节点间完成的。简单易部署。可以模糊查询。 缺点：单点失效。尽管可以用并行服务器解决。 拓扑结构：非结构化、集中式。 典型代表：Napster P2P体系结构（cont’）P2P体系结构（cont’）2、非集中式、非结构化 研究目标和重点是去除体系结构上的单点失效问题。对象查询是分布式的。查询是逐跳的，泛洪式直到成功或失败或超时。 优点：自组织的管理模式使得整个系统的鲁棒性得以大幅度增强。可以模糊查询。 缺点：消息传递（泛洪、回溯等）的资源定位模式制约了网络规模的可缩放性。查询效率低。 典型代表：Gnutella、Freenet、KaZaA 拓扑结构：非结构化、非集中式、无规则分布式 P2P体系结构（cont’）P2P体系结构（cont’）3、非集中式且结构化 需要解决的问题则是如何增强网络规模的可缩放特性。对象查询也是分布式的。使用DHT技术构造结构化拓扑。对象的查询也是逐跳的执行，经过确定的步跳可以确信是成功的。 拓扑结构：非集中式、结构化。 如：mesh、ring、d-dimension torus and butterfly。 典型P2P网络如：CAN、Chord、Oceanstore等。 优点：在资源管理过程中同时拥有自组织特性、规模的强可缩放特性以及部署的廉价性等等。为规模庞大的资源整合及共享提供了可能性。 缺点：节点仅存在局部视图。缺少权威第三方的控制。不支持模糊查询。P2P按出现的时间和目的分类P2P按出现的时间和目的分类第一代 早期的P2P网络。 如Napster和Gnutella，目标是容易和快速部署。但是可伸缩性差且查询效率低。 Napster是众所周知的音乐交换系统。每个节点登录到服务器上并发送它们的文件清单，发布查询到服务器上查找哪些节点是它们拥有的想要的文件，并直接与目标节点连接下载文件。支持模糊匹配。 nullcentral indexjoinqueryanswergetfile...Directory-based P2P of Sharing Music: NapsterHow does Naspter Work (very simple!)How does Naspter Work (very simple!)Application-level: (1) client/server protocol over point-to-point TCP/IP; (2) central directory server. User operation steps: connect to Napster server (http://www.napster.com) upload a request list and the IP address in the server. Index server searches the list and returns results to the IP. User pings the music hosts, looking for best transfer rate. User chooses a music provider for data transfer. The index server does not scale its P2P system. nullflooding queryUnstructured P2P: GnutellaSuper Node based P2P: KaZaA (Morpheus)Super Node based P2P: KaZaA (Morpheus)..................super peerflooding query拓扑结构示例拓扑结构示例拓扑结构示例(cont’)AB0147拓扑结构示例(cont’) 发展历程第二代 发展历程第二代 没有集中的目录服务器，但是拓扑结构有意义。这个结构意味着P2P网络拓扑被紧紧的控制。比如： Mesh, Ring , d-dimension Torus, K-ary tree。 使用DHT技术，有较好的可伸缩性和查询效率。提供负载均衡和确定性的搜索保证。但是容错性或弹性不好，尤其是在恶意攻击下。文件不是被 随机地而是以特定的位置放置，这样使得连续的查询更加容易满足。 它使用精确的定位算法和特殊的路由使得搜索效率提高。支持精确查询不能支持模糊查询。 But it is not clear how well such designs work with an extremely transient population of nodes and adversarial node failures (except Butterfly). 第二代的代表第二代的代表Tapestry :用于覆盖网络的定位和路由机制。Tapestry具有自我管理、容错和灵活平衡负载等特点。 Pastry：是一个路由定位协议，与Tapestry有许多相似性。 CAN：可以在Internet规模的大型对等网络上提供类似哈希表的功能，提供查询服务。CAN具有可扩展、容错和完全自组织等特点。。 CHORD：是一个分布式的非集中式的P2P查询服务，存储关键字/值对。给定一个关键字（key），将key映射到某个结点。如果给对等网络应用的每个数据都分配一个key，那么对等网络中的数据查找问题就可以用Chord很容易地解决了。 OceanStore的目标是提供全球的持久存储系统。 PAST是基于Internet的，P2P的全球存储应用，它可以提供持久存储、高可用性、可扩展性和安全性。 CFS（Cooperative File System）是一个用于对等网络的只读的存储系统，它可以提供高效率的、鲁棒的和负载平衡的文件存取功能。nullInternetMedia ServerFirewallP2P Overlay Content Addressable NetworkIntranet发展历程第三代 发展历程第三代 近期的研究目标 提供高度弹性P2P网络； 使用的技术包括目标对象复制、在节点之间扩展连接数、构造特殊的结构化拓扑结构等。 后面两代是分布式的和结构化的覆盖网发展历程第四代发展历程第四代此种说法未必准确。 任何网络技术的发展，最终目标是面向用户、面向应用的。第四代应该是P2P网络技术走向应用的阶段。因此，综合考虑影响结构化P2P网络可用性的多方面因素，其成因，研究相应的解决方案来增强P2P网络的可用性是当前P2P技术走向实用阶段的研究重点。 主要目标是提出的增强P2P网络可用性的解决方案能够同时维护网络本身的自组织特性及网络规模的可缩放特性，且方案易于部署。P2P查询算法P2P查询算法目标查询的算法研究是P2P网络的关键部分。算法的优劣决定了P2P网络性能的优劣。 随机地和确定性地，非泛洪和泛洪式的，集中式的和非集中式的。 除了Napster集中式的查询外，所有其他的P2P网络使用分布式的和逐跳的转发请求查询方式。 P2P查询算法（cont’）P2P查询算法（cont’）随机查询被转发到一个随机选择的邻居节点。通常有一个较长的路径长度。应用于非结构化P2P网络中。如Gnutella。 泛洪式查询方法是在纯粹分布式结构中采用的方法,不需要向目录服务器报告共享的信息,而是将请求泛洪到直接相连的邻居,直到收到响应,或者达到了最大的泛洪步数。由于这种模型需要很多的网络带宽来进行资源的搜索工作,因而这种模型的扩展性并不是很好,但是在像公司这样的小型团体里还是很有效的。 为了解决扩展问题,引入了混合式结构,把查询请求集中到超级节点,这样就减少了网络带宽的消耗。 TTL/Hops ExampleTTL/Hops ExampleTTL = 7 Hops = 0TTL = 6 Hops = 1TTL = 5 Hops = 2TTL = 4 Hops = 3TTL = 3 Hops = 4Horizon exampleHorizon exampleTTL = 1TTL = 2TTL = 4TTL = 3TTL = 5TTL = 6TTL = 7More about TTL and HopsMore about TTL and HopsIn general, you greatly increase the nodes you can connect to as you broaden your horizon Where nhosts is the number of hosts reachable, nhops is the number of hops, and d is the average number of hosts reachable from each host (degree of connectivity) (assumes acyclic graph) Ping and PongPing and PongAfter knowing where to go to join a network, a servent uses Ping and Pong to locate other nodes to connect to Originally, Ping message sent to the node connected to, which forwarded to all neighbors All those servents willing to connect to the sender respond with Pong Pongs convey IP, Port, Files shared, and distance (hops)泛洪式算法的改进泛洪式算法的改进有各种方法可以控制和减少在分布式无结构P2P网络中基于泛洪搜索方法带来大量不必要流量,这大致可归为三类 基于改进转发机制的方法； 基于缓存的方法； 拓扑结构的优化。 “dynamic TTL setting or expanding ring” and “k-walker random walk”. But “k-walker random walk” may have large lookup length (latency). So object replication mechanisms (such as uniform replication, proportional replication, square-root proportional replication, and log-form replication) are proposed at the same time to reduce the lookup length. Lookup message and length can be simultaneously decreased using cache mechanisms such as: cache some objects in the reverse path of queries 这些改进方法会使得无结构P2P网络在将来会有更广阔的应用。Ping/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong ExamplePing/Pong Example文档路由模型 （Document Routing Model) 文档路由模型 （Document Routing Model) 这种文件路由模型需要用分布式哈希表(Distributed Hash Tables, DHT) ,这是有结构对等网络采用的搜索方法, 也是有结构和无结构对等网络的根本区别。是确定性的算法。 在这种模型下,每个对等体都有一个ID,每个文件有一个关键字Key,当宣告一个关键字为K1的文件时,先通过哈希映射得到对应的K1 → ID1 ,然后将该文件存到ID号为ID1 的节点,文件的存放过程需要将文件路由到该节点ID1。反过来,当查找一个关键字为K1 的文件时,先进行哈希映射得到K1 → ID1 ,然后将该文件从ID号为ID1 的节点上取到该文件,从该网络中取文件需要将请求消息路由到ID1 节点,然后文件从ID1 节点原路返回。 P2P研究的意义P2P研究的意义低成本或成本共享 资源积聚和互操作性 改进的可伸缩性和可靠性 增强的自治性 隐私性和匿名性 动态性 使ad-hoc自组织通讯和协作的可能性对等网络中的安全问题对等网络中的安全问题P2P作为分布式的网络模型,在系统安全中面临着巨大的挑战,它需要在没有中心节点的情况下,提供身份验证、授权、数据信息的安全传输、数字签名、加密等机制。还要避免大量信息传输拥塞、病毒的入侵和恶意代码攻击等问题。 P2P网络的安全问题,归结为以下三类: 1)数据安全问题,包括数据的完整、真实和保密; 2)网络对等节点安全问题,对等机相互信息和个人环境安全; 3)信息安全问题,网络信息内容和版权的管理。 研究内容：上述三类问题即可以作为研究对象。P2P网络中的信任问题P2P网络中的信任问题在纯分布式对等网络中,没有中心控制,具有高度的动态性、自治性和异构性,即:每个用户参与网络是随机的、自愿的,并且不同的用户有不同的能力和可靠性,由此导致不可靠的服务质量及大量欺诈行为的存在,网络的可用性差。目前解决这一问题的有效方法是在P2P网络中建立信誉体制。 所谓信誉体制是指用户通过自己的过去经历或他人的推荐来选择符合自己要求的交互端的一种体制。此体制能激励用户提供可靠高质量的服务,节省时间和通信开销,减少交互风险和损失,促进网络的良性发展。 许多学者对此进行了研究，主要是提出合理的信誉评价方案和信誉计算方法。而信誉体制的安全和有效性是影响网络可用性的关键因素。 P2P网络中的激励机制P2P网络中的激励机制在P2P 系统中所有节点往往更多地表现出自兴趣和理性,单个节点的目标往往是使自身的网络效用 最大化,这样导致了以下问题: (1) 搭便车( free riding)问题, 70%的Gnutella用户不共享任何文件,接近50%的 文件查询命中仅来自1%的Gnutella用户; (2) 公共的悲剧 ( tragedy of common)问题,即网络资源作为非排他性占有的公共资源,被大多数 P2P节点无节制地使用. 如何使节点根据自身的期望,主观上愿意参与共享其资源不仅是困扰P2P系统的问题,同样也严重 困扰着大规模计算资源共享系统.有论文指出了使用微支付(micro payment)和虚拟流通( virtual currency)的方法来解决P2P文件共享网络中的共享激励问题.P2P进一步研究的问题P2P进一步研究的问题QOS问题 链路延迟、查询响应延迟（难以避免） 阻塞问题 热链接（文件复制、负载均衡的搜索算法） 弹性问题 安全问题 信任机制和激励机制 P2P的计算模式三项工作P2P的计算模式三项工作资源放置 　　　在P2P系统中，并非个人资源（比如数据）都放置在各自的机器上，很可能是所有机器共同管理资源，比如在P2P存储系统中经常采用分布式哈希表放置数据，各人数据可能放置在他人的机器上，于是如何进行资源放置就成了必须回答的第一个问题。 资源定位 　　　数据的查找与资源放置方法是直接相关的。对于以DHT方式放置的数据，可以直接定位，但在多数文件共享系统中，用户的文件都是放在各自的机器上，如何知道哪些机器放有用户需要的数据就成为一个关键问题，常常需要较大规模的搜索才可以完成。资源定位就是研究如何更有效率地找到需要的资源所处的位置，尤其是一些在网络中稀有（rare）的数据。P2P的计算模式三项工作（cont’）P2P的计算模式三项工作（cont’）资源获取 　　　资源定位后就需要获得资源，有些资源并不能直接获得，比如计算资源、大文件、流媒体资源。这里的问题主要在于如何才能更高效的获取资源，或者说如何使一些热点资源服务更多的需要该资源的用户，通常这需要尽量发挥P2P系统中所有参与者的能力。而使用P2P模式充分地利用了所有结点的带宽资源，使得并行下载能力得到了极大的扩展。 P2P和GridP2P和GridPeer-to-peer and Grid computing are two approaches to distributed computing, both concerned with the organization of resource sharing in large-scale computational societies. Grids are distributed systems that enable the large-scale coordinated use and sharing of geographically distributed resources, based on persistent, standards based service infrastructures, often with a high-performance orientation. nullAs Grid systems increase in scale, they begin to require solutions to issues of self configuration, fault tolerance, and scalability, for which peer-to-peer research has much to offer. Peer-to-peer systems, focus on dealing with instability, transient populations, fault tolerance, and self adaptation. To date, however, peer-to-peer developers have worked mainly on vertically integrated applications, rather than seeking to define common protocols and standardized infrastructures for interoperability. “Grid computing addresses infrastructure, but not yet failure, while peer-to-peer addresses failure, but not yet infrastructure” [Foster and Iamnitchi 2003].我们能做什么？我们能做什么？Bewildered with it Application development: determined Algorithm improved ? Topology designing ? Performance study ? …… discussion参考文献参考文献典型的P2P路由算法 Chord I. Stoica, R. Morris, D. Karger, M. F. Kaashoek, and H. Balakrishnan. Chord: A scalable peer-to-peer lookup service for internet applications. In Proceedings of the ACM SIGCOMM ’01 Conference, San Diego, California,August 2001. 典型的P2P路由算法Tapestry B. Y. Zhao, J. D. Kubiatowicz, and A. D. Joseph. Tapestry: An infrastructure for fault-tolerant wide-area location and routing. Technical Report UCB/CSD-01-1141, UC Berkeley, Apr. 2001 典型的P2P路由算法Pastry A. Rowstron and P. Druschel. Pastry: Scalable, distributed object location and routing for large-scale peer-to-peer systems，In Proc. of the 18th IFIP/ACM International Conference on Distributed Systems Platforms (Middleware 2001). Heidelberg, Germany, November 2001. 典型的P2P路由算法Pastry开源代码 The Pastry Project ,http://www.cs.rice.edu/CS/Systems/Pastry/ P. Druschel and A. Rowstron. P2P网络的典型应用 海量数据存储 基于Pastry基本路由架构 PAST: A large-scale persistent peer-to-peer storage utility. In Proc. HOTOS Conf., 2001. 参考文献（cont’）参考文献（cont’）P2P网络的典型应用 海量数据存储 基于Chord基本路由架构 F. Dabek, M. F. Kaashoek, D. Karger, R. Morris, and I. Stoica. Wide-area cooperative storage with CFS. SOSP '01, October 2001. P2P网络的典型应用 网络存储 Tapestry基本路由架构 J. Kubiatowicz, D. Bindel, Y. Chen, S. Czerwinski, P. Eaton, D. Geels, H. W. FL Gummadi, S. FI.hea, W.Weimer, C. Wells, and B. Zhao. Oceanstore: An architecture for global-scale persistent storage. In Proceedings of the Ninth International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS), 2000. P2P网络的典型应用 应用层多播 基于Pastry基本路由架构 A. Rowstron, A.-M. Kermarrec, M. Castro, and P. Druschel. Scribe: The design of a large-scale event notification infrastructure. In Third International Workshop on Networked Group Communications, Nov. 2001. D. Joseph and John D. Kubiatowicz. Routing Algorithms for DHTs: Some Open Questions, Electronic Proceedings for the 1st International Workshop on Peer-to-Peer Systems (IPTPS '02) 2002 - MIT Faculty Club, Cambridge, MA, USA. 参考文献（cont’）参考文献（cont’）GGF,http://www.gridforum.org Jxta,http://www.jxta.org. SETI@home，http://setiathome.ssl.berkeley.edu/ Gnetella，http://www.gnutella.com/ Chord,http://pdos.lcs.mit.edu/chord/ Napster,http://www.napster.com 中国期刊网 特别申明：有些内容来自于互联网上的幻灯片null