基于冗余数据消除的广域网传输优化技术研究与实现

【摘要】：冗余数据消除是当前广域网传输优化的一个重要研究方向,对网络中传输的数据进行优化可以有效提升广域网传输链路的利用率。冗余数据消除的主要处理流程:首先,将在广域网中传输的数据报文储存在缓存中;其次,由缓存内容生成冗余数据消除字典;最后将缓存字典应用于后续的数据流压缩及解压缩过程,从而实现对广域网传输效率的提升。本文对冗余数据消除的几个关键技术进行了研究,设计并实现了基于冗余数据消除的广域网传输优化控制系统WOC(WAN optimization controller),WOC冗余数据消除系统具备在高速网络环境下对网络数据报文的实时处理,消除传输过程中的冗余数据,有效节省带宽资源。论文主要包括以下内容:1.通过对广域网传输过程中遇到的诸多瓶颈问题进行分析,最终采用了基于字典缓存的冗余数据消除技术进行广域网优化设计。2.针对字典缓存,需求空间大,管理困难,索引开销大等问题,提出了多级缓存管理策略,将数据包缓存划分为三级缓存,可以快速定位数据包存储位置。同时,将缓存命中次数转化为优先级,并添加优先级退化机制,避免缓存污染。3.提出了自适应的动态缓存项选取算法。WOC的缓存项选取算法,利用数据包应用层协议和历史统计,动态选取采样参数,实现更加高效的指纹缓存利用率。4.综合考虑内存利用率、系统透明性、处理实时性和后续功能优化便利等因素,设计了分层式系统。分层式系统便于管理,并且使用了高效的缓存同步方式,简化接收端系统。5.实现了一个基于冗余数据消除的广域网传输优化技术。测试结果表明,该技术可以正确并且更加高效的检测并消除广域网链路中传输的冗余数据。
【关键词】：广域网优化 协议识别 冗余数据 多级缓存 最大串匹配
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP393.2