分布式文件系统数据块聚类存储节能策略

【摘要】：针对分布式文件系统中由于数据块随机放置而导致的服务器利用率低、能耗管理复杂的问题,建立了数据块访问特征向量模型描述用户对数据块的随机访问,运用K-means算法对数据块进行聚类计算,根据计算结果将数据节点划分为多个区域以存储不同聚类簇的数据块,在系统负载较低时进行数据块动态重配置,关闭不必要节点达到节能的目的。为使得策略适用于对能耗和资源利用率有不同要求的场景,算法中聚类簇间隔参数可灵活设置。实验通过和冷热区划分算法进行比较表明:按照聚类结果进行数据块重配置后,能耗节省效率优于冷热区划分算法,节省能耗35%~38%。 【作者单位】： 新疆大学信息科学与工程学院;新疆大学软件学院;
【关键词】： 云计算 分布式文件系统 数据聚类 动态重配置 节能计算
【基金】：国家自然科学基金资助项目(61462079,61262088,61363083) 新疆维吾尔族自治区自然科学基金资助项目(2013211A011)
【分类号】：TP333
【正文快照】： 0引言伴随着数字时代的蓬勃发展,数据激增和信息爆炸现象的出现不可避免,云计算以其资源动态分配、按需服务的设计理念,通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的系统。借助软件服务(Software as aService,Saa S)、平台服务(Platform as a Service,P

您可以在本站搜索以下学术论文文献来了解更多相关内容

基于分布式文件系统HDFS的节能算法    廖彬;于炯;张陶;杨兴耀;

基于用户访问特征的云存储副本动态管理节能策略    王政英;于炯;英昌甜;鲁亮;班爱琴;

Seadown:一种异构MapReduce集群中面向SLA的能耗管理方法    林彬;李姗姗;廖湘科;孟令丙;刘晓东;黄訸;

基于OpenSSL云信息系统的设计与实现    陆海虹;

基于HDFS的动态副本策略设计与实现    陈波;沈炜;

一种联邦云系统中的资源分配算法    赵明;

面向数据中心的虚拟机部署及优化算法    王加昌;曾辉;何腾蛟;张娜;

社会计算的意义、发展与研究状况    王飞跃;曾大军;毛文吉;

云计算环境下软硬件节能和负载均衡策略    钱育蓉;于炯;王卫源;孙华;廖彬;杨兴耀;

能耗感知的绿色数据库研究综述    金培权;邢宝平;金勇;岳丽华;

云计算系统中能量有效的数据摆放算法和节点调度策略    肖艳文;王金宝;李亚平;高宏;

基于可靠性的云工作流调度策略    闫歌;于炯;杨兴耀;

基于云计算的多投影系统项目管理与安全设计    陕亮;

新计算模式对高校信息化建设的影响    茅维华;高淑娟;白雪松;

虚拟机网络性能优化研究    曹文治

不确定环境中基于ATO的零部件协同供应模式研究    李毅鹏

云计算系统中索引与查询处理技术研究    王金宝

一体化信息基础设施中面向MapReduce的递归层次结构数据中心网络研究    丁泽柳

基于移动P2P的分布式存储和传输机制研究    姜春茂

矿山数据压缩采集与重建方法研究    徐永刚

协作中继系统容量界及其无速率网络编码    张昱

基于物理规划的服务组合方法研究    袁宜峰

形式化方法在云计算中的应用研究    张鹏

虚拟机网络性能优化研究    曹文治

基于分布式PKI的多租户服务的身份认证技术研究    张兆海

基于云计算的远程诊断关键技术研究    朱朝鹏

基于Hadoop的海量工程数据处理技术研究    李延光

云计算中基于遗传算法的能效管理研究    侯伟

云存储环境下分布式文件系统的副本策略研究    匡士杰

多数据中心负载均衡调度的研究    孙夏爽

云媒体中基于任务QoS特征的资源分配调度算法研究    洪波海

基于利用率和负载均衡的云资源调度算法研究    张海洲

面向云平台的外包数据安全性研究    饶兵

云计算系统中能量有效的数据摆放算法和节点调度策略的研究    肖艳文

绿色网络和绿色评价:节能机制、模型和评价    林闯;田源;姚敏;

基于动态副本技术的云存储负载均衡研究    董继光;陈卫卫;吴海佳;田浪军;

基于存储结构重配置的分布式存储系统节能算法    廖彬;于炯;孙华;年梅;

基于分布式文件系统HDFS的节能算法    廖彬;于炯;张陶;杨兴耀;

N个资源一次看——分布式文件系统妙用    寒江约叟

蓝鲸分布式文件系统的客户端元数据缓存模型    黄华;张建刚;许鲁;

蓝鲸分布式文件系统的物理资源管理模型    黄华;张敬亮;张建刚;许鲁;

浅析分布式文件系统原理及改进    姚毓才;张琳娜;

分布式文件系统在气象业务中的应用初探    刘光博;

浅谈分布式文件系统的使用    岳卫荣;

高性能分布式文件系统相关技术研究    何公明;许严;

分布式文件系统管理策略研究    薛志强;刘鹏;文艾;周游;许闯;

分布式文件系统副本一致性检测研究    田怡萌;李小勇;刘海涛;

几个常见分布式文件系统特征分析和性能对比(英文)    熊文;喻之斌;须成忠;

基于分片、松耦合的分布式文件系统的设计与实现    华清;黄林鹏;

微软WINDOWS Server 2003 R2分布式文件系统解决方案分析    洪穗;

电力分布式云存储关键技术研究    罗志明;张大华;王电钢;常健;

大数据时代的交管综合应用云平台    徐文斌;

分布式文件系统的历史与现状    国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚

分布式文件系统趋向成熟    国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚

构建分布式文件系统    国防科学技术大学计算机学院软件所 董勇 周恩强

分布式文件系统一瞥    

分布式文件系统在网络中的应用    王春海 刘立

Hadoop：为构建海量数据架构而生    

“大数据”的大承诺    本报记者 于翔

YARN动摇了MapReduce对Hadoop的掌控    IBM大数据专家 James Kobielus　范范 编译

云计算和物联网的美妙融合    张力平

大数据治理多管齐下    《网络世界》记者 于翔

分布式文件系统性能建模及应用研究    赵铁柱

分布式文件系统高可用问题研究    史小冬

蓝鲸分布式文件系统的资源管理    黄华

分布式文件系统可扩展元数据服务关键问题研究    杨德志

分布式文件系统的研究    周涛

大规模分布式文件系统的研究与实现    林凌

分布式文件系统吞吐率优化研究    胡雨壮

分布式文件系统中对象存储目标镜像的设计与实现    吴晨涛

分布式文件系统中集中安全管理服务器设计与实现    张红林

云计算环境中分布式文件系统的负载均衡问题研究    谷方舟

分布式文件系统容错机制的研究与实现    许敏

群智感知环境下的分布式文件系统的设计与实现    詹海鲸

分布式文件系统自适应负载调度研究    叶为民

分布式文件系统客户端关键技术研究    桂莅