您好, 歡迎來到化工儀器網(wǎng)
WILKERSON威爾克森過濾器結構組合有哪些
WILKERSON威爾克森過濾器結構組合有哪些
現(xiàn)有排重算法中，文件級排重盡管排重開銷小，但排重粒度過粗，難以取得存儲空間的高效利用；數(shù)據(jù)塊級排重算法能實現(xiàn)高效存儲，但其附帶的存儲開銷過高，排重的時間開銷大。研究分層排重結構，應用雙布魯姆WILKERSON過濾器實現(xiàn)數(shù)據(jù)排重，優(yōu)化數(shù)據(jù)排重性能，主要工作如下：針對數(shù)據(jù)重復有文件級的重復和數(shù)據(jù)塊級的重復之分，提出一種基于雙布魯姆WILKERSON過濾器的數(shù)據(jù)排重算法。該算法使用兩個布魯姆WILKERSON過濾器構成二級排重結構，將排重過程分解成文件排重和數(shù)據(jù)塊排重兩部分。算法首*入*級進行文件排重，然后將*級排重判定為不重復的文件分割成塊進行第二級數(shù)據(jù)塊排重。利用這種分層排重結構，通過*級將重復文件直接過濾掉，不進入第二級排重，減少了數(shù)據(jù)塊排重的工作量；通過第二級進入不重復文件內(nèi)部進行數(shù)據(jù)塊排重，獲得了數(shù)據(jù)塊級的排重粒度。
將上述算法應用于文檔備份系統(tǒng)中，實現(xiàn)對文檔的排重，由于算法采用布魯姆WILKERSON過濾器對數(shù)據(jù)進行壓縮表達，存在誤判可能，即假陽性誤判問題。本文設計通過查詢元數(shù)據(jù)(保存數(shù)據(jù)相關信息)來為誤判糾錯。當布魯姆WILKERSON過濾器判斷數(shù)據(jù)為重復時，首先將元數(shù)據(jù)預讀到內(nèi)存中，在內(nèi)存中匹配元數(shù)據(jù)信息，若沒有找到，再讀取保存元數(shù)據(jù)的文件—索引文件查詢元數(shù)據(jù)。通過內(nèi)存、索引文件兩級元數(shù)據(jù)查詢，杜絕了假陽性誤判的情況。由于為假陽性誤判糾錯需要對元數(shù)據(jù)進行大量訪問，增加了排重時間開銷，設計將索引文件緩存，保證元數(shù)據(jù)操作的高效，以此提高排重效率。但系統(tǒng)的句柄數(shù)限制了同時緩存的索引文件數(shù)目，若索引文件過多，則不能同時緩存全部索引文件，需要進行更多的磁盤IO，此時排重開銷與耗時都急劇升高，針對這種情況，采用動態(tài)哈希算法來分配元數(shù)據(jù)地址，將元數(shù)據(jù)保存在少數(shù)幾個索引文件內(nèi)，從而克服了句柄限制問題