基于预取与缓存的磁盘节能技术研究

【摘要】： 磁盘能耗高是Internet数据服务中心面临的突出问题,导致系统故障增多、可靠性下降。磁盘节能具有软件级与硬件级之分。在软件级,基于预取与缓存的方法能有效的合并磁盘I/O,使磁盘工作时任务饱满,连续休眠时间足够长,是磁盘节能的重要途径。本文主要工作包括如下几个方面： 首先,提出了一种磁盘节能的预取算法。目前,现有的预取方案存在访问序列顺序性检测过于严格、预取粒度过于悲观等方面的问题,在内存竞争比较激烈时,预取页面波过早的回收而出现预取抖动。因此,算法引入预取触发标记,简化访问模式的检测。在此基础上,放宽顺序访问的识别条件,将传统的大文件随机访问当做顺序模式来处理,使算法更友好的支持大量随机读写。同时采用自适应的预取大小,能有效的避免预取抖动,降低磁盘能耗。 其次,提出了一种磁盘节能的缓存算法。在深入研究了磁盘页面缓存的基础上设计了虚拟设备管理模型来实现磁盘I/O请求的截获和处理。模型通过虚拟磁盘技术截取来自上层的I/O请求,同时利用请求的位置相关性对I/O队列重排。系统小写时,先缓存到延迟队列。当监测到磁盘的活动状态到来时,将所有的延迟I/O一次性写回磁盘。在磁盘工作繁忙时,适时开启多线程回写。此算法优化了磁头的移动路径,避免了I/O拥塞,并提高了系统性能。 最后,在Linux下对上述两个算法进行了实现与验证。得出,改进后磁盘平均空闲时间延长了10%,平均数据传输率提高了2倍,在同等负载下磁盘节省了17%的能量。实验表明算法具有较好的可行性和实用性。 【关键词】：磁盘节能 数据预取 页面缓存 访问模式
【学位授予单位】：湖南大学
【学位级别】：硕士
【学位授予年份】：2010
【分类号】：TP333.35
【目录】：

• 摘要5-6
• Abstract6-9
• 插图索引9-10
• 附表索引10-11
• 第1章 绪论11-20
• 1.1 课题的研究背景及意义11-12
• 1.2 磁盘节能的国内外研究现状12-18
• 1.2.1 磁盘的发展历程12-13
• 1.2.2 磁盘的特性13-15
• 1.2.3 磁盘节能管理办法15-18
• 1.3 本文的主要工作及其内容18-19
• 1.4 论文的结构19-20
• 第2章 面向磁盘节能的预取算法20-30
• 2.1 引言20-21
• 2.2 Linux的文件系统及预取方案21-24
• 2.3 预取核心问题24-27
• 2.3.1 预取时期24-25
• 2.3.2 预取对象25-26
• 2.3.3 预取与缓存的共存26-27
• 2.4 节能预取算法27-29
• 2.4.1 记录访问历史27-28
• 2.4.2 启动预取时期28
• 2.4.3 自适应调整预取粒度28-29
• 2.4.4 内存管理29
• 2.5 本章小结29-30
• 第3章 面向磁盘节能的缓存算法30-45
• 3.1 引言30-31
• 3.2 磁盘缓存的关键技术31-40
• 3.2.1 文件系统的缓存设计31-33
• 3.2.2 磁盘缓存的数据结构33-38
• 3.2.3 磁盘缓存回写以及存在的问题38-40
• 3.3 能量有效的磁盘缓存算法40-41
• 3.4 算法设计41-44
• 3.5 本章小结44-45
• 第4章 节能的预取与缓存算法在Linux下的实现45-55
• 4.1 引言45
• 4.2 内存的分配回收45-48
• 4.2.1 内存页面45-46
• 4.2.2 内存分配46-47
• 4.2.3 内存回收47-48
• 4.3 预取算法的实现及其模拟实验结果比较48-51
• 4.4 缓存算法的实现及其模拟实验结果说明51-54
• 4.5 本章小结54-55
• 结论55-57
• 参考文献57-61
• 致谢61-62
• 附录A 攻读学位期间所发表的学术论文目录62

您可以在本站搜索以下学术论文文献来了解更多相关内容

大案例教学法在《Visual FoxPro程序设计》教学中的应用研究    孙艳秋;刘广;刘世芳;

浅析缓存预取技术    张荣芸;

网络存储阵列中CACHE的设计    田新宇

并行文件系统中适度贪婪的Cache预取一体化算法    卢凯,金士尧,卢锡城

结合访存失效队列状态的预取策略    郇丹丹;李祖松;胡伟武;刘志勇;

磁盘高速缓存技术对服务器小写性能的提高    谢长生,田智勇

Linux内核的文件预读    吴峰光;

基于MSR模型的动态功耗管理策略    戚隆宁;张哲;胡晨;卜爱国;

基于数据缓冲区动态分组的功耗管理策略    黄少珉;张哲;胡晨;戚隆宁;

基于时间期望表的DPM预测策略    戚隆宁;胡晨;张哲;卜爱国;

多任务下I/O设备的动态功耗管理    戚隆宁;张哲;黄少珉;

YHFT-DX高性能DSP中Cache失效流水设计    郭阳;傅祎晖;刘胜;李勇;

一种步长自适应二级cache预取机制    靳强;郭阳;鲁建壮;

基于存取模式的Cache预取自适应策略研究    周可,张江陵,冯丹,万志坤

并行分布式文件系统的改进    阴四海;王文杰;李秀斌;范军涛;

面向非一致Cache的任意步长预提升技术    吴俊杰;杨学军;

嵌入式Linux文件系统的优化    林兴;樊立民;

存储系统低能耗数据布局技术研究    岳银亮

分布式计算中并行I/O调度策略研究    曾碧卿

基于虚拟计算环境的内存资源共享技术研究    褚瑞

固态硬盘存储管理与差错控制技术研究    张磊

多应用环境下自适应预取策略研究    郑长安

“银河飞腾-DX”DSP高效二级cache的设计与实现    靳强

磁盘阵列SCSI接口及Cache预取算法研究    何青林

数据仓库架构设计及其缓存管理策略研究    卢杰骅

基于FPGA的磁盘阵列协处理卡的硬件设计与实现    余红梅

一种基于SAS技术的高性能硬件磁盘阵列的设计与实现    张敏

网络计算模式下的多主机系统卷动态重构策略    王燕

高性能DSP一级Cache缺失流水设计与实现    傅祎晖

数据网格环境下的数据传输及缓存技术研究及实现    劳仲安

对中职学校计算机教学的思考    赵国莲;

面向多核的共享多通道Cache体系及原型构建    刘彩霞;石峰;邓宁;宋红;薛立成;

一个软件可控Cache替换策略的行为分析    杜红燕;潘怡;田兴彦;欧新良;

Cache自适应写分配策略    郇丹丹;李祖松;胡伟武;刘志勇;

谈电大案例教学法中案例选编的要求    李海清;

大案例教学法在《SQL Server数据库》课程教学中的应用研究    姚志良;

多核多线程处理器二级Cache预取结构的设计    杨可;樊晓桠;王党辉;

一种面向固态硬盘的Cache置换算法    李博;谢长生;王芬;赵小刚;

基于RAID的适度贪婪并行预取技术    吴志刚,冯丹,张江陵

基于修正LRU的压缩Cache替换策略    田新华;欧国东;张民选;

数据值预测与存储器预取技术研究    谢学军

网络存储Cache替换与磁盘调度算法研究    仇德成

网络存储系统预取协调优化研究    王晓翠

基于SESC仿真器的存储预取器设计    赵磊;张萌;刘芳;

Web缓存系统浅析    刘美华,古志民,曹元大

预取技术研究进展    曹新平;刘美华;韩真;古志民;张建鑫;

结合访问序列和内容挖掘的预取技术    戴东波,印鉴,梁华金

基于缓存及预取技术的大型数据库查询优化研究    富宇;杨冬黎;杨彬;

基于频繁的Markov链预测模型    闫永权;张大方;

访问局部性原理在Cache系统优化及设计中的应用    王恒娜

基于内容和结构的Markov模型在网页预取中的应用    徐燕;

持久化系统中对象预取技术的研究    李则鸣;

一种基于预取的集群服务器调度算法    燕彩蓉;沈钧毅;彭勤科;

一种改进的Markov链预测模型    闫永权;

多核处理器预取策略的研究    方娟;张红波;

一种在线递增式语言模型自适应方法    吴根清;郑方;金凌;吴文虎;

一种改进的并行前馈卷积编码方法    张树剑;张在琛;

一种基于FPGA的DDR3 SDRAM控制器设计与实现    孟晓东;伍楠;邢座程;

DDR3内存 到底好在哪儿    

Readyboost：用闪存加速    刘喜喜

毒龙再现    广西 姑苏飘雪

主流DDR2内存导购    小小

山雨欲来风满楼    

主板类故障（下篇）    重庆 汪朝伟

谁让DDR3“黯然神伤”    本报记者 余侃

主板故障该如何检查(下)    

“替代”技术给PACS另辟蹊径    

“龙”的历史    均儿

并行磁盘系统的预取及缓存技术研究    史晓东

基于预取的磁盘存储系统节能技术研究    葛雄资

智能网络磁盘存储关键技术研究    周云霞

面向GPU的低功耗软件优化关键技术研究    林一松

Java虚拟机的自适应动态优化    邹琼

基于虚拟计算环境的内存资源共享技术研究    褚瑞

基于线程的数据预取技术研究    欧国东

磁盘存储系统节能关键技术研究    谢晓玲

数据值预测与存储器预取技术研究    谢学军

磁盘存储系统可靠性技术研究    刘军平

基于预取与缓存的磁盘节能技术研究    姚维

网络存储系统预取协调优化研究    王晓翠

时空结合的数据预取    刘敬伟

基于双关联图的Web预取模型研究    史海振

Web缓存技术的研究    梅高永

三状态磁盘模型节能方法的设计与实现    樊文君

增量预取技术在持久化框架中的研究与应用    张美玲

基于Web的缓存与预取一体化技术研究    田玉根

缓存技术在管理信息系统中的应用研究    王丽平

利用预取技术改善Web应用程序在大数据量环境中的用户体验    徐串