新疆大学学报(自然科学版)(中英文)

2017, v.34;No.147(03) 259-266

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

基于回归检测的滑动块重复数据删除算法
A Sliding Blocking Algorithm with Regression-Checking for Duplicate Data Detection

卞琛;于炯;修位蓉;

摘要(Abstract):

随着大数据时代的来临,重复数据在存储系统中占有很高比例,如何在保障数据可用性的前提下提高存储系统利用率问题一直是研究人员关注的热点.重复数据删除技术是一种存储系统优化技术,通过比较数据指纹确定冗余并删除,达到保障数据唯一性的目的.在重复数据分块检测过程中,无匹配指纹的块即认定为新数据存储,然而通过研究发现,未匹配块中仍然包含大量的重复数据,若能检测到未匹配块内的重复数据,则能够在一定程度上进一步提高重复数据检测率.本文提出一种基于回归检测的滑动块重复数据删除算法,对传统滑动块技术产生的未匹配数据块进行回归检测,通过对比未匹配块的结构变化进而确定数据操作类型,再根据不同的操作类型执行不同的检测算法,达到去除未匹配块内重复数据的目的.实验表明:本算法在时间开销方面比较合理,并能够有效提高重复数据检测率.

关键词(KeyWords): 云存储;回归检测;重复数据;折半匹配;滑动窗口

Abstract:

Keywords:

基金项目(Foundation): 国家自然科学基金项目(61462079);; 新疆维吾尔自治区高校科研计划(XJEDU2016S106)

作者(Author): 卞琛;于炯;修位蓉;

Email:

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享