基于HDFS Federation的分布式局域网缓存系统设计

袁建明 赵成贵

引用本文:
Citation:

基于HDFS Federation的分布式局域网缓存系统设计

    作者简介: 袁建明(1988-),男,山东人,硕士生,主要从事计算机网络方面的研究.E-mail:420440540@qq.com.;
    通讯作者: 袁建明, 420440540@qq.com
  • 中图分类号: TP393.09;TP393.18

The design of distributed cache system in LAN based on HDFS Federation

    Corresponding author: YUAN Jianming, 420440540@qq.com ;
  • CLC number: TP393.09;TP393.18

  • 摘要: 在大型局域网中部署内容缓存加速系统可以缓解网络出口的压力并提高用户的满意度.传统的方法是采用本地文件系统存储缓存文件,若分布式部署则导致冗余度高,造成资源的浪费;若单机部署则扩展性差,性能达不到要求.此系统可以将缓存文件存放在HDFS集群中,用户需要获取的文件若缓存中已经存在,则可以通过伪造重定向数据包让用户重定向到相应的本地服务器去获取文件.采用HDFS Federation可以部署多个NameNode来扩展集群的容量,降低单个NameNode的负载.实验结果表明在高负载下,本系统可以提供更高的传输速度.
  • [1] 谢俊余江常俊郑宇 . 基于预留带宽门限和传输等级的带宽分配算法. 云南大学学报(自然科学版), 2016, 38(4): 543-549. doi: 10.7540/j.ynu.20160020
    [2] 薛娜刘云 . 基于分布式算法在WSN中的能耗最小化优化研究. 云南大学学报(自然科学版), 2015, 37(3): 360-366. doi: 10.7540/j.ynu.20140062
    [3] 梁珺刘云 . 基于WSN分布式聚类均衡路由算法的优化研究. 云南大学学报(自然科学版), 2014, 36(6): 830-835. doi: 10.7540/j.ynu.20140056
    [4] 谢文阁贾丹李欣周月鹏 . 分布式数据库中重复查询的半连接算法研究. 云南大学学报(自然科学版), 2009, 31(3): 238-241 .
    [5] 徐庆生沈勤祖 . 分布式应用系统结构设计的形式化研究. 云南大学学报(自然科学版), 2003, 25(6): 493-498.
    [6] 唐菁敏周旋张伟王朝阳王红彬 . 基于状态分布式传感网络的多播路由算法研究. 云南大学学报(自然科学版), 2018, 40(1): 57-65. doi: 10.7540/j.ynu.20170218
    [7] 张国生 . 分布式计算中的超接口体系结构模型. 云南大学学报(自然科学版), 2005, 27(2): 119-122.
    [8] 王海涛刘云 . 无线传感器网络中极大极小设置的分布式检测研究. 云南大学学报(自然科学版), 2014, 36(4): 497-503. doi: 10.7540/j.ynu.20130364
    [9] 肖幪林培贞周健杨福贵 . 园区网中APT攻击的分析与防护. 云南大学学报(自然科学版), 2013, 35(S2): 156-.
    [10] 化存才 . 凸需求函数、凸分布与多种价格并存的优化模型. 云南大学学报(自然科学版), 2007, 29(2): 123-126,131.
    [11] 樊爱霞杨春燕 . 对数正态分布恒加寿命试验在带有随机移走的定时截尾模型下的优化设计. 云南大学学报(自然科学版), 2009, 31(5): 444-448, .
    [12] 张忠玉刘惟一张玉琢 . Bayesian网的信息熵. 云南大学学报(自然科学版), 2002, 24(3): 183-185,191.
    [13] 孔兵李彤梁彬 . 事件驱动系统的Petri网建模. 云南大学学报(自然科学版), 2003, 25(1): 13-16.
    [14] 郭祥文刘惟一张忠玉张燕锋 . 基于Petri网的虚拟科研建立过程模型. 云南大学学报(自然科学版), 2002, 24(4): 266-268.
    [15] 周熙然邵振峰周寿章 . 基于地理本体的空间传感网数据处理. 云南大学学报(自然科学版), 2011, 33(S2): 196-201.
    [16] 张自立刘惟一 . 基于动态贝叶斯网的状态预测. 云南大学学报(自然科学版), 2007, 29(1): 35-39.
    [17] 詹健东宗容余江施继红 . 基于以太网和RS485总线的小型微网控制系统设计. 云南大学学报(自然科学版), 2015, 37(5): 674-679. doi: 10.7540/j.ynu.20150102
    [18] 冯春梅 . 游戏式教学的教学设计研究. 云南大学学报(自然科学版), 2011, 33(S2): 315-318.
    [19] 杨梦云刘雁徐丹 . 交互式的多边形变形控制技术. 云南大学学报(自然科学版), 2011, 33(S2): 225-229.
    [20] 丁海燕 . 计算机专业英语的情景式教学. 云南大学学报(自然科学版), 2011, 33(S2): 342-344.
  • 加载中
计量
  • 文章访问数:  719
  • HTML全文浏览量:  48
  • PDF下载量:  444
  • 被引次数: 0
出版历程
  • 收稿日期:  2014-09-02
  • 刊出日期:  2014-09-01

基于HDFS Federation的分布式局域网缓存系统设计

    通讯作者: 袁建明, 420440540@qq.com
    作者简介:袁建明(1988-),男,山东人,硕士生,主要从事计算机网络方面的研究.E-mail:420440540@qq.com.
  • 1. 云南财经大学 信息学院,云南 昆明 650221

摘要: 在大型局域网中部署内容缓存加速系统可以缓解网络出口的压力并提高用户的满意度.传统的方法是采用本地文件系统存储缓存文件,若分布式部署则导致冗余度高,造成资源的浪费;若单机部署则扩展性差,性能达不到要求.此系统可以将缓存文件存放在HDFS集群中,用户需要获取的文件若缓存中已经存在,则可以通过伪造重定向数据包让用户重定向到相应的本地服务器去获取文件.采用HDFS Federation可以部署多个NameNode来扩展集群的容量,降低单个NameNode的负载.实验结果表明在高负载下,本系统可以提供更高的传输速度.

English Abstract

目录

    /

    返回文章
    返回