PVFS描述
http:/parlweb.parl./pvfs/desc.html
PC集群作為一個(gè)并行平臺(tái)在逐步的普及，此平臺(tái)上的軟件需求也正在增長(zhǎng)。在當(dāng)今的集群中。
并行計(jì)算環(huán)境下，我們找到了許多有效的軟件模塊。比如可靠的操作系統(tǒng)，本地存儲(chǔ)系統(tǒng)和基于
消息傳遞的系統(tǒng)。然而，并行I/O限制了集群的軟件產(chǎn)品的生產(chǎn)。
并行虛擬文件系統(tǒng)(PVFS)工程為L(zhǎng)inux集群提供了高性能和可擴(kuò)展行的并行文件系統(tǒng)。PVFS是
開(kāi)放原代碼的，并且在GNU公共版權(quán)許可證下發(fā)布。它無(wú)需特殊的硬件設(shè)備和內(nèi)核的改動(dòng)。
PVFS提供重要的4個(gè)功能：
×一致性的訪問(wèn)名字空間。
×支持現(xiàn)存的系統(tǒng)訪問(wèn)方式。
×數(shù)據(jù)分布在集群節(jié)點(diǎn)不同機(jī)器不同的硬盤上。
×為應(yīng)用程序提供高性能的數(shù)據(jù)訪問(wèn)方式。
為了PVFS易于安裝和使用。它必須提供與集群訪問(wèn)相一致的名字空間，而且它必須達(dá)到我們易
用的習(xí)慣方式。PVFS文件必須同時(shí)安裝到所有節(jié)點(diǎn)的相同目錄里。使得所有節(jié)點(diǎn)能看到和訪問(wèn)PVFS
文件上的所有文件通過(guò)相同的配置。在已安裝PVFS文件和目錄能夠運(yùn)用類似的工具，比如ls,cp和rm
。
為了給訪問(wèn)很多客戶端上文件系統(tǒng)的數(shù)據(jù)提供高性能，PVFS將數(shù)據(jù)散布于許多集群的節(jié)點(diǎn)上，
應(yīng)用程序能夠通過(guò)網(wǎng)絡(luò)從不同的路徑獲得數(shù)據(jù)。這個(gè)消除了I/O路徑的瓶頸，且增加了眾多客戶端
潛在的帶寬，或者是總和的帶寬。
當(dāng)傳統(tǒng)的系統(tǒng)調(diào)用機(jī)制提供了方便的數(shù)據(jù)訪問(wèn)給應(yīng)用程序不同的文件系統(tǒng)的數(shù)據(jù)文件，是使用
在內(nèi)核之上的方式。對(duì)PVFS來(lái)說(shuō)應(yīng)用程序可以以連接本地PVFS，API的方式訪問(wèn)文件系統(tǒng)。這類庫(kù)
直接使用Unix操作與PVFS服務(wù)器門連接，而不是傳遞消息給內(nèi)核。這個(gè)類庫(kù)能被應(yīng)用程序于與其他
類庫(kù)使用。比如ROMIO,MPI-IO類庫(kù)，為了快速的PVFS訪問(wèn)。
PVFS使用視圖
上面的PVFS視圖現(xiàn)實(shí)了PVFS系統(tǒng)的節(jié)點(diǎn)分布圖，節(jié)點(diǎn)被分成，計(jì)算節(jié)點(diǎn)，上面運(yùn)行應(yīng)用程序。
管理節(jié)點(diǎn)管理元數(shù)據(jù)，I/O節(jié)點(diǎn)存儲(chǔ)PVFS文件系統(tǒng)的文件。管理節(jié)點(diǎn)與I/O節(jié)點(diǎn)也可能被用來(lái)計(jì)算。
全看管理員。對(duì)于小的集群這些節(jié)點(diǎn)功能可重疊以維持資源的利用率。大的集群上I/O于metadata
最好放在不同的節(jié)點(diǎn)上。
PVFS系統(tǒng)有4個(gè)主要的模塊：
×元數(shù)據(jù)服務(wù)器(mgr)
×I/O服務(wù)器(iod)
×PVFS本地API(libpvfs)
×PVFS Linux內(nèi)核支持
第一二個(gè)模塊是在Linux節(jié)點(diǎn)上運(yùn)行的后臺(tái)進(jìn)程。元數(shù)據(jù)服務(wù)器，稱為mgr，管理著PVFS文件的
元數(shù)據(jù)。元數(shù)據(jù)是文件的描述，比如名字，所存放的目錄層次，所有者，和在系統(tǒng)節(jié)點(diǎn)中的分布。
通過(guò)一個(gè)自動(dòng)的后臺(tái)進(jìn)程我們避免了許多網(wǎng)絡(luò)存儲(chǔ)的缺點(diǎn)。訪問(wèn)中存在復(fù)雜的鎖操作為的是在很多訪
問(wèn)時(shí)保持文件的一致性。
第二個(gè)后臺(tái)進(jìn)程是I/O節(jié)點(diǎn)或iod。I/O服務(wù)器存放和重得文件數(shù)據(jù)存儲(chǔ)于連接于節(jié)點(diǎn)上的本地
硬盤上。這些服務(wù)器在本地節(jié)點(diǎn)上創(chuàng)造真實(shí)的存在的文件。
它們使用傳統(tǒng)的read(),write()和mmap()訪問(wèn)這些文件。這意味著能使用像本地文件一樣的
格式來(lái)存儲(chǔ)數(shù)據(jù)。比如ext2,ext3。另外你可以使用軟件或硬件的RAID來(lái)支持節(jié)點(diǎn)容錯(cuò)和創(chuàng)建異常
大的文件。
metadata Access視圖
data access視圖
就像前面提及PVFS本地API提供用戶訪問(wèn)權(quán)給服務(wù)器。這些類庫(kù)提供了分散聚集數(shù)據(jù)于用戶緩存
與PVFS服務(wù)器之間的操作。這些操作對(duì)用戶保持透明的。上面圖顯示了PVFS元數(shù)據(jù)和文件操作的數(shù)據(jù)
流動(dòng)。對(duì)于元數(shù)據(jù)操作，應(yīng)用與元數(shù)據(jù)服務(wù)器通訊通過(guò)使用類庫(kù)。對(duì)于數(shù)據(jù)操作和數(shù)據(jù)服務(wù)器被排除
替而帶之的是直接于I/O服務(wù)器聯(lián)系。這是性能的關(guān)鍵。
最后PVFS提供Linux內(nèi)核模塊是Linux上能安裝PVFS文件系統(tǒng)。這使得現(xiàn)在的程序直接訪問(wèn)PVFS
文件而無(wú)需任何改動(dòng)。這個(gè)支持對(duì)應(yīng)用程序不是必須的使用PVFS的方法。不過(guò)它提供一個(gè)極方便的方
法給影響到系統(tǒng)。PVFS內(nèi)核模塊支持包括一個(gè)可裝載的模塊。一個(gè)可選的內(nèi)核補(bǔ)丁排除了內(nèi)核拷貝，
一個(gè)后臺(tái)進(jìn)程pvfsd以為應(yīng)用程序提供訪問(wèn)PVFS文件系統(tǒng)。它用的是libpvfs的函數(shù)來(lái)執(zhí)行這些操作。
視圖
上圖顯示了數(shù)據(jù)通過(guò)內(nèi)核流向，當(dāng)Linux內(nèi)核支持被使用。這個(gè)機(jī)制和coda文件系統(tǒng)中使用方式
相類似。（在我們?cè)O(shè)計(jì)的系統(tǒng)上coda應(yīng)用作為一個(gè)實(shí)例）操作通過(guò)系統(tǒng)調(diào)用傳到linux的PVFS層。在這
里是一個(gè)pvfsd服務(wù)的隊(duì)列。這pvfsd通過(guò)設(shè)備文件接受操作。然后設(shè)備文件與PVFS服務(wù)器通訊取得
數(shù)據(jù)，通過(guò)內(nèi)核傳遞到應(yīng)用程序。
應(yīng)用程序接口：
為了使任何文件系統(tǒng)可用，方便的接口必須可用。這個(gè)問(wèn)題對(duì)并行應(yīng)用特別重要。這些應(yīng)用對(duì)文件
系統(tǒng)有大量的需求。為了滿足這些眾多的組合，有三個(gè)接口PVFS能夠訪問(wèn)。
×PVFS本地API
×Linux內(nèi)核接口
×ROMIO,MPI-IO接口
PVFS本地API提供一個(gè)類似Unix接口給PVFS文件訪問(wèn)。它同樣允許用戶指定文件在PVFS文件系統(tǒng)I/O
節(jié)點(diǎn)條狀分布。Linux內(nèi)核接口。就像早先討論過(guò)的。允許用戶可通過(guò)傳統(tǒng)通道訪問(wèn)PVFS文件系統(tǒng)。這
使得用戶使用所有普通的功能執(zhí)行每天的數(shù)據(jù)處理，PVFS文件系統(tǒng)，臨時(shí)數(shù)據(jù)存儲(chǔ)。
ROMIO執(zhí)行MPI IO調(diào)用在一個(gè)輕量級(jí)的類庫(kù)中，這允許并行程序使用MPI去訪問(wèn)PVFS文件，通過(guò)MPIIO
接口。另外，ROM-IO使用了兩個(gè)優(yōu)化：數(shù)據(jù)篩選，二階段集體I/O，這樣有利于提高性能。更多的資訊
在ROMIO包和ROMIO網(wǎng)頁(yè)中三個(gè)優(yōu)化的描述。
性能：
開(kāi)始二個(gè)PVFS系統(tǒng)最重要的目標(biāo)是高性能和可測(cè)量性。集群增大時(shí)，高性能并行I/O支持非常重要。
我們工作是弄清楚PVFS將持續(xù)滿足這些新的需求。
這里我們概要了PVFS本地API的性能，在chiba city集群上運(yùn)行有256個(gè)雙處理器的節(jié)點(diǎn)。二中互連
的系統(tǒng)，快速以太網(wǎng)和Myrient網(wǎng)絡(luò)。我們將顯示分別在這些網(wǎng)絡(luò)上訪問(wèn)數(shù)據(jù)的性能。
視圖
在上面的圖中我們可看見(jiàn)快速以太網(wǎng)總計(jì)的性能。圖上顯示24個(gè)I/O節(jié)點(diǎn)后性能下降。這有可能是
tcp在快速以太網(wǎng)上，和超出了以太網(wǎng)承受能力。但是網(wǎng)絡(luò)的結(jié)構(gòu)和選擇I/O服務(wù)器布置也可能遵守一定
的規(guī)則。
在第二組測(cè)試中我們看Myrient上的性能。使用總Myrient帶寬與I/O節(jié)點(diǎn)類似來(lái)表示性能。PVFS性能
攀升在已經(jīng)作的測(cè)試中性能攀升表現(xiàn)很好。
PVFS開(kāi)發(fā)人員區(qū)域：
為PVFS作貢獻(xiàn)：
我們常尋找對(duì)PVFS工程的幫助。如果你有任何主意，建議，錯(cuò)誤報(bào)告，錯(cuò)誤修復(fù)，或者向要一個(gè)新
功能，請(qǐng)讓我們知道。PVFS持GPL許可證，原代碼是公開(kāi)的，如果你有對(duì)你有點(diǎn)幫助或想簡(jiǎn)單的跟蹤本工
程請(qǐng)使用下文。
我們打算搞一個(gè)活動(dòng)的建議列表，為了PVFS研究者或?qū)こ特暙I(xiàn)的人，你可以查看這個(gè)列表。
PVFS的郵件列表：
我們提供二個(gè)PVFS討論郵件列表。PVFS用戶和PVFS開(kāi)發(fā)者，你能參加其中一個(gè)或全部。
http://parlweb.parl./pvfs/pvfs-list.html
用開(kāi)發(fā)人員列表是最好的保持與我們聯(lián)絡(luò)的方式。如果你想為PVFS作貢獻(xiàn)。如果你想提供補(bǔ)丁或討論
任何與PVFS發(fā)展有關(guān)的事情。請(qǐng)?jiān)谶@里遞交你的郵件。 匿名CVS的訪問(wèn)：
我們使用CVS管理所有PVFS的原代碼。為了得到更多如何使用CVS的信息，請(qǐng)參考你本地支持或參觀
CVS網(wǎng)站。我們提供了所有用戶能讀PVFS原代碼的權(quán)限。
訪問(wèn)CVS庫(kù)是對(duì)PVFS實(shí)驗(yàn)與開(kāi)發(fā)新功能感興趣的人提供的。我們無(wú)法保證CVS中的代碼都能使用，或
你的數(shù)據(jù)在使用它后是安全的。我們不為那些沒(méi)有使用已知穩(wěn)定的版本提供支持。注意你已經(jīng)被警告了！
我們經(jīng)常會(huì)制作穩(wěn)定的版本，你能在http://parlweb.parl./pvfs/files.html找到。這個(gè)才
是你要這樣的每天使用的代碼。如果，你還沒(méi)有被恐嚇嚇倒，下面列出了如何得到最近的cvs.parl.clemosn.edu
的CVS版本。
檢驗(yàn)最近的PVFS和PVFS內(nèi)核原代碼：
cvs -d : pserver:anonymous@cvs.parl.:/anoncvs login 任何密碼
cvs -d : pserver:anonymous@cvs.parl.:/anoncvs co pvfs
cvs -d : pserver:anonymous@cvs.parl.:/anoncvs co pvfs -kernal
cvs -d : pserver:anonymous@cvs.parl.:/anoncvs logout
*升級(jí)你的合格的代碼到最近改變的CVS（這個(gè)必須在已經(jīng)檢查的目錄中作）
cvs -d :pserver:anonymous@cvs.parl.:/anoncvs login （任何密碼）
cvs -d :pserver:anonymous@cvs.parl.:/anoncvs update -P -d
cvs -d :pserver:anonymous@cvs.parl.:/anoncvs logout
如果你打算經(jīng)常這樣作，你可能想創(chuàng)建別名，腳本和特殊的CVS客戶端配置作這些，而無(wú)需這樣麻煩。
