IronPort邮件传输代理(MTA)核心架构

IronPort邮件传输代理(MTA)核心架构 白皮书 概要 革命性的邮件队列引擎 支撑IronPort邮件网关设备的幕后技术 目录 1 概要 2 IronPort MTA的基石：AsyncOS操作系统™ 3 先进的队列设计和连接管理 4 邮件流控制 5 强大的管理功能 6 及时获取想要的邮件 当今电子邮件已经发展成为一个企业开展日常业务的主要通讯手段，其重要性足以匹敌传统的电话语音网络，甚至大有超过后者的趋势。实际上，与传真和ATM的发明类似，电子邮件对我们的日常生活造成了如此深入的影响，以至于我们甚至很难想象在10年前电子邮件还未广泛流行之前的生活会是怎样。但电子邮件这个传媒的强大影响力同样也为它吸引来了大量的并且仍在飞速增长的安全威胁 - 垃圾邮件、钓鱼攻击和在线欺诈、病毒蠕虫以及知识财产盗窃等等。 因此，企业的电子邮件基础设施一方面不但必须要具备足够的可扩展性以满足该传媒的迅猛发展，同时另一方面也要谨防不断出现的电子邮件安全威胁。近几年企业邮件网关的吞吐量几乎在以每年翻一番的速度增长，这里面主要有三方面的原因：(1)电子邮件的用户增多了 (2)每位用户每天发送的邮件量增多了 (3)由于越来越多的邮件带有很大的附件并采用HTML格式，邮件正变得越来越臃肿。更糟糕的是，各种非法邮件也正以指数的速度增长，垃圾邮件，病毒和目录搜索攻击等等已经对企业的外围邮件网关造成了巨大的压力。 而传统的邮件网关的软件基础还是搭建在20年前的架构之上。这些古老架构的队列机制在设计和实现上有很多固有的限制，无法满足当今不断增长的邮件吞吐量的要求，也无法支持更先进更复杂的垃圾邮件和病毒过滤策略。 文档版本10.05 1 � IronPort邮件传输代理(MTA)核心架构 白皮书 为了解决这些问题，IronPort系统公司设计并开发了一个全新的邮件传输代理(MTA)。IronPort的MTA具有先进的队列管理技术，在性能上取得了极大的突破，其吞吐能力要比基于传统UNIX操作系统的MTA高上20多倍。 这个性能上的飞跃使得IronPort的邮件网关产品不但能够轻松应对因垃圾邮件和病毒爆发所引起的邮件量的猛增，同时还可以有足够的能力执行先进的邮件过滤算法。另外，IronPort MTA的经过完善设计的队列引擎也让IronPort邮件网关产品能够在企业内部网和外部因特网之间扮演一个减震器的角色，缓冲因外部因特网的邮件起伏而对企业邮件网关所造成的冲击，为企业群件服务器提供了一个平滑的出入邮件流，从而改善了企业邮件系统整体的稳定性和可用性。 IronPort MTA的基石：AsyncOS操作系统 传统的基于UNIX操作系统的邮件网关程序有许多限制，但这些限制的根源其实并不在于邮件应用自身，而是在于应用与底层操作系统的交互方式。为了克服它们，IronPort开发了一个独有的名为AsyncOS的操作系统，该系统特别针对中转电子邮件这个异步任务做了优化。 电子邮件的传输需要占用大量的网络连接。任何一个具有一定规模的企业网络随时都可能需要同时处理成千上万个进出企业的邮件连接，而且由于网络延迟和带宽限制等各种原因，再加上在一个邮件连接中对端的服务器可能很忙，因此这些邮件连接的速度常常相对较慢。传统的MTA系统在处理大量并发连接时会遇到很大的困难，所能处理的并发连接数通常限制在100或200以下，这是因为绝大多数传统MTA是运行在诸如UNIX或Windows等通用操作系统之上，而这些通用操作系统是无法支持同时开启大量线程的，根源在于，传统的线程模型需要为每个线程分配一个独立的内存栈空间，而线程在达到一定数量后系统就缺乏足够的内存用于开启新的线程。IronPort的AsyncOS则实现了一个无堆栈(Stackless)的线程模型，该线程模型不需要为每个线程分配一大块内存栈空间，这大大提高了IronPort MTA的多任务处理能力：IronPort MTA能够同时处理10000个并发连接，是传统MTA的100倍以上。 这个超强的并发连接处理能力确保了在实际使用中IronPort的MTA再也不会被网络连接问题所束缚。并发连接瓶颈的解决意味着系统的瓶颈转移到了输入输出(I/O)上。为了不丢失数据，MTA上的所有邮件都必须要被安全地写到磁盘上存储起来，因此MTA实际上是一个I/O密集型的应用。AsyncOS处理I/O瓶颈的方式有两种。第一个是通过IronPort的I/O驱动式任务调度器。AsyncOS充分利用了电子邮件的异步本质，在处理邮件时总是选择最优化的任务调度顺序。如果一个线程正忙于使用I/O接发数据，AsyncOS系统将允许它把I/O操作一直进行完，不会像传统的基于时间片的调度器那样在时间片用完之后强制切换线程从而造成大量线程上下文切换(context switch)上的负担，因此AsyncOS极大地提高了I/O系统的效率。 2 � IronPort邮件传输代理(MTA)核心架构 白皮书 第二个对I/O的优化则是AsyncOS的异步文件系统。传统的MTA使用传统文件系统来维护邮件应用的状态，当一个主要的邮件接收域因为各种原因而变得不可用的时候，发往该域的邮件队列会开始迅速膨胀，由于邮件队列以文件的形式存在于磁盘上，传统文件系统的限制和低效性这时就会开始托慢企业邮件系统的整体吞吐能力。到了对端的邮件接收域重新恢复正常的时候，MTA就需要恢复邮件的传输过程并着手清理邮件队列，这时MTA为了及时清理邮件队列就迫切需要系统达到最大的吞吐能力，但文件系统的负担实际上却反而会把系统的吞吐能力降至最低，因此邮件队列仍然会继续增大，这反过来又造成了更大的文件系统负担。这样一个恶性循环的过程最终必然将导致系统当机，当然最后肯定是离不开管理员的干预了。 先进的队列设计和连接管理 在AsyncOS这个经过了深入优化的操作系统之上，IronPort还开发了一个全新的MTA架构。IronPort为该MTA系统设计了一个特殊的独立队列机制，每个邮件目标域都会被分配一个单独的队列，同时系统还会维护所有邮件接收方的状态，实时掌握对方的情况。如果一个主要的邮件域如Hotmail当掉了，那么系统将把该域标记为当机状态，之后群件服务器上所有发往该域的邮件都将被存放到为该域分配的队列中，而且系统不会为每封新的发往该域的邮件去查询该域的状态，而是定期统一做一次目标域状态查询。在对方重新恢复可用后，这时该域队列中的所有邮件都将被传送出去。这很好地解决了传统MTA上的一个非常普遍的问题，即传统MTA会因为频繁地查询当掉的邮件域的状态而严重影响整个系统的性能。类似的，IronPort MTA支持为每个邮件域设定重试频率的功能，这就又解决了MTA经常会遇到的另一个问题，即大量的回退垃圾邮件占用系统队列的问题。垃圾邮件攻击通常会使用大量的无效邮件地址，而这些回退邮件一开始都是被发往那些从来都是无法接收邮件的垃圾域，传统的MTA会为了这些回退的垃圾邮件而反复重试。通常这个问题的解决需要管理员的干预，管理员所要做的就是整理邮件队列，删除所有发往垃圾域的邮件。但是IronPort MTA则不存在这个问题，因为它支持为每个邮件域设定重试频率，所以管理员只需要将可疑邮件域的重试频率设为零即可，随后IronPort MTA会自动清除那些无效的邮件。这些先进的功能使得IronPort设备完全可以在群件服务器前面担当一个“减震器”的角色，无需人工干预就能让邮件队列操作变得平滑而顺畅。 IronPort邮件网关产品同样还拥有一项独特的功能，即所谓的虚拟网关技术。虚拟网关技术让IronPort MTA系统能够分辨每封外出邮件并将其划分到相应的类别中，而每个邮件类别里的所有邮件都将统一使用一个对外IP地址。也就是说，通过这项技术，邮件将根据发送方所在的不同的企业或部门进行归类，同属一个企业或部门的邮件将统一从一个IP地址发送出去。这对于邮件传送问题的管理来说一个非常强大且实用的功能。 3 � IronPort邮件传输代理(MTA)核心架构 白皮书 如果这些不同的邮件流中有某一个出了问题而导致接收方的ISP采取封禁的话，那么ISP的封禁将只限于出了问题的这个邮件流所使用的IP，也就是说其他的邮件流将不会因此而受到牵连。对于那些其客户是共享邮件基础设施的服务提供商来说，这个功能是必不可少的：每个客户都将被分配一个专用的IP地址，而不同客户的邮件流之间不会相互影响。另一个重要的用途就是企业可以将普通员工的邮件与其他重要商业邮件如付款邮件或交易邮件分隔开来，同样，如果其中一个出了问题是不会影响到其他邮件流的正常操作的。虚拟网关技术的一个常见应用就是对回退邮件的处理。通常垃圾邮件制造者在发送垃圾邮件时会伪造假的返回地址(也称"joe-job")，并且这些垃圾邮件常常包含一些垃圾陷阱。企业机构在接收到该垃圾邮件后如果回应了一封无法投递的回退邮件的话就会触发设计好的垃圾陷阱，结果就是会被相应的防垃圾机构列入黑名单。而通过虚拟网关技术企业可以使用一个单独的虚拟网关来处理回退邮件，这样就算触发了垃圾陷阱，上黑名单的也只会是这个虚拟网关所使用的IP地址，不会影响到其他企业邮件流。另外，IronPort的队列引擎还可以在虚拟网关的基础上为每个目标邮件域建立多条单独的邮件队列，这个跨多个虚拟网关的队列机制大大提高了IronPort MTA的健壮性和灵活性，像Hotmail这种非常流行的邮件接收域就可以有多个虚拟网关与之相对应，每个虚拟网关分配一个单独的邮件队列，确保一个虚拟网关被封禁后其他虚拟网关还能继续正常向其发送邮件。 除了先进的邮件队列技术，IronPort MTA的网络连接管理也是非常优秀的。IronPort MTA系统会把所有发往同一个接收域的邮件组织起来放到队列中，在实际传送的过程中则会建立多个到对方主机的连接，每个连接一次能够传送多封邮件。而传统的MTA则需要为每封邮件的传送打开一个新的网络连接，这对邮件的接收方和发送方都是一个极大的负担。 IronPort的“好邻居”算法能够检测从自己这方到一个邮件接收域的所有连接的总数据传输率，当数据传输率太高的时候会暂停最新的连接，确保不会超过接收方邮件服务器的数据传输的负载能力。另外IronPort的邮件网关产品还带有一个具有极高性能的板上DNS缓存以匹配系统的高吞吐能力。一个邮件接收域的所有MX记录的IP地址都将存储在这个缓存上，系统会根据邮件接收方所声明的MX记录优先级将网络连接分布到各个MX地址上。 邮件流控制 IronPort MTA具有强大的邮件流控制功能。在接收邮件时，任何一个邮件发送方过来的邮件速率都能得到很好的控制。邮件流控制功能是与IronPort的名誉过滤器紧密相联的。IronPort名誉过滤器是一套为邮件发送方的IP地址赋予名誉等级的系统，而名誉等级的评定则由IronPort SenderBase网络的邮件发送方名誉服务来提供。SenderBase网络是世界上第一个同时也是最大的邮件发送方名誉等级评定系统。对于任何一个给定的正在发送邮件或曾经发送过邮件的IP地址，SenderBase网络时刻跟踪监视着关于该IP的大量网络参数。 4 � IronPort邮件传输代理(MTA)核心架构 白皮书 这些参数包括该IP所发送过的邮件总量、该IP发送邮件有多久的历史、邮件的发源国、开放代理或开放中转服务器的检测情况、是否位列黑名单或白名单、是否有正确的DNS配置、是否具有接收返回邮件的能力等等。这些网络级的目标参数在经过综合评估分析后将得出一个能够反映邮件发送方“可信任度”的-10到+10之间的分值。根据邮件发送方的这个信誉分值，IronPort的信誉过滤器会自动为其分配一个邮件流控制策略，其中所应用的控制参数包括邮件大小的限制、最大同时连接数、关键字过滤、是否开启垃圾邮件或病毒过滤等等，当然还有最重要的一点就是邮件网关每小时所允许的对方发送过来的邮件的最大数量。这个关键的功能让IronPort的邮件网关在面对可疑邮件流时具有独特的灵活响应能力。发送方越可疑，从它那边过来的邮件速率就越低。 强大的管理功能 除了极为先进完善的邮件队列设计和邮件处理功能之外，IronPort MTA的核心还内建了强大的邮件队列管理功能。通过基于Web的IronPort邮件流监视器操作界面，系统管理员可以很容易地查看到邮件队列的活动情况。规模最大的几个邮件队列的接收域将被突出显示在统计摘要信息一栏。管理员只需要打开一个页面就可以查看到队列中的邮件数量、打开的连接数、成功投递的邮件数以及硬性和软性的回退邮件等信息。在页面上点击打开一个域后可以看到关于该域的更具体的信息，包括该邮件域的所有MX记录的IP地址、该域的当前状态(在线或当机)、最近一次到该域的连接尝试、发往该域的邮件队列中最老的一封邮件的年龄、以及从该域接收到的错误码或回退邮件的具体信息等等。这个强大的工具可以帮助系统管理员快速地诊断、发现并解决问题。经过配置，当邮件队列超过某个阀值的时候系统将会立即发出警报。为了让管理员能更深入地进行问题的诊断，IronPort邮件网关还支持“域调试”，这是一个特别的日志功能，它能够捕捉一个特定域的所有SMTP会话，这为管理员提供了极大的方便，因为它不会产生大量难以理解和分析的日志。更进一步，邮件队列中的任何一封邮件都可以被重定向到任何一个远程主机或服务器，当然你也可以直接删除。 5 � IronPort邮件传输代理(MTA)核心架构 白皮书 及时获取想要的邮件 IronPort的MTA具有革命性的设计，对于需要多层次地严密过滤进出企业的邮件的客户，IronPort的邮件网关产品是具有强健性能和丰富功能的最佳解决。IronPort产品多层次的过滤系统可以确保合法邮件总是能够顺利达到目的地，而非法邮件全部将被阻挡在企业周边网络之外。IronPort产品的过滤功能在“IronPort邮件网关上的智能过滤器”白皮书中有详细的介绍。将这些高级过滤功能与世界上最强大最健壮的MTA相结合，IronPort可以确保你的客户总是能够“及时获取想要的邮件”。 IronPort系统有限公司是业界领先的电子邮件安全产品提供商，其客户不但包括众多中小型企业，还包括许多位列全球2000强的大型企业。IronPort为那些面临着管理、保护和发展其至关重要的邮件系统等艰巨任务的企业提供高性能的、易于使用的和技术创新的一流产品。 IronPort系统有限公司 北京市朝阳区西大望路3号蓝堡写字楼北区2908室，100026 电话 ＋8610-51660876 传真 ＋8610-51660876-800 上海市淮海中路93号大上海时代广场办公楼26楼，200021 电话 ＋8621-51176322 传真 ＋8621-51777991 电子信箱 cn-info@ironport.com 网站 www.ironport.com/cn 2005年IronPort系统公司版权所有。IronPort，IronPort的标志，AsyncOS，病毒爆发过滤器，信誉过滤器，邮件安全管理器，邮件流监视器，邮件流中心，邮件网关和虚拟网关是IronPort系统公司的商标。SenderBase是IronPort系统公司的注册商标。所有其他商标是其相应所有者的财产。产品届时如有变更将不做另行通知。10/05 �