面向海量新闻数据的HDFS节能存储策略

【摘要】：基于新闻数据的访问规律,提出一种改进的Hadoop分布式文件系统(HDFS),利用数据节点分区、文件迁移和节点待机等策略,使部分无任务的节点处于待机状态,实现系统高效节能存储。改进传统HDFS的写文件机制,将数据块优先写入剩余空间最大且处于活动状态的节点中,使同一时段内创建的文件尽量分散至不同节点,增加节点待机概率,同时解决集群数据分布不均的问题。实验结果表明,应用节能存储策略的HDFS相比传统HDFS可降耗20%以上,且99.9%的文件读取响应时间均不受影响,具有较好的数据存储与访问性能。 【作者单位】： 重庆大学计算机学院;
【关键词】： 文件存储 节能 节点分区 文件迁移 节点匹配
【基金】：国家“973”计划基金资助项目“高效可信的虚拟计算环境基础研究”(2011CB302600) 中央高校基本科研业务费专项基金资助项目(CDJZR185502)
【分类号】：TP333
【正文快照】： 中文引用格式:钟将,杨雷.面向海量新闻数据的HDFS节能存储策略[J].计算机工程,2015,41(12):48-53.英文引用格式:Zhong Jiang,Yang Lei.Energy Conservation Storage Strategy of HDFS for Massive News Data[J].Computer Engineering,2015,41(12):48-53.1概述随着云计算技术的

您可以在本站搜索以下学术论文文献来了解更多相关内容

FAT32的优点    王春靖

一种基于目录数据分离存储的文件存储方法的研究与实现    何文才;郑钊;刘培鹤;杜敏;

手机文件存储看我的    飞雪散花;

海量图片文件存储去重技术研究    孙有军;张大兴;

金刚指——计算机文件存储的保护神    

一种性能优化的小文件存储访问策略的研究    赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;

云环境下海量小文件存储技术研究综述    周国安;李强;陈新;胡旭;

电子文件存储方式的研究    张美芳

适于测控系统的文件存储结构研究    陶慧;于守谦;刘夏;

浅谈减少地形图电子文件存储冗余的几种方法    方勇;史跃辉;

新型虚拟文件存储系统的设计    任勇;朱立谷;张雷;彭建峰;

基于制播分离的文件存储和传输方式的探讨    李浩;

针对海量详单快速存储检索的实现方法    陈海波;侯建卫;

针对海量详单快速存储检索的实现方法    陈海波;侯建卫;

预览时间对颜色判断任务下客体文件存储的影响    袁旦;张智君;

SANYO数码相机中被删除视频的恢复    黄步根;黄政;刘建军;

Isilon扩充文件存储产品线    本报记者 郭平

容量与性能 一样都不能少    本报记者 郭平

统一存储 业务连续    张峰

基于文件存储大行其道    清水　编译

HCP Anywhere：为HDS内容云锦上添花    本报记者 郭涛

让IT如业务般运营的应用路径    于翔

IBM SoNAS专攻高端存储客户    刘一冰

云存储：机遇下暗藏挑战    清水　编译

互联网存储 你信得过吗    沈建苗

面向城轨线网的海量小文件存储方法的研究与实现    廖家赵

基于FastDFS架构的小文件存储系统的设计与实现    李长平

支持事务的文件存储技术研究与系统实现    宫海林

分布式文件存储与检索平台的设计与实现    曹挹芬

并行文件存储系统关键技术的研究    黄斌

分布式文件存储系统副本管理方法研究    蒋浩

钱塘分布式文件存储系统性能优化    张聪萍

互联网文件存储服务系统研究    周峰

专控计算机分离式文件存储的研究    郑钊

基于分布式文件存储的个人信息融合系统的研究与实践    何娟