Lustre,一種平行分散式檔案系統,通常用於大型計算機叢集超級電腦。Lustre是源自Linux和Cluster的混成詞。最早在1999年,由皮特·布拉姆(英語:Peter Braam)建立的叢集檔案系統公司(英語:Cluster File Systems Inc.)開始研發,於2003年釋出 Lustre 1.0。採用GNU GPLv2開原始碼授權。

Lustre
開發者多方
目前版本
  • 2.15.4 (2023年12月23日)[1]
編輯維基數據連結
原始碼庫 編輯維基數據連結
作業系統Linux kernel
類型分散式檔案系統
許可協定GPL v2
網站lustre.org(1.8.7及之前)
lustre.opensfs.org(2.1及之後)

歷史 編輯

Lustre檔案系統架構是Peter Braam1999年開始的一個研究專案,皮特當時在卡內基梅隆大學擔任教職。2001年皮特成立了自己的公司——群集檔案系統。2007年9月,昇陽公司收購叢集檔案系統公司的資產,包括其知識產權。Sun在其高效能計算硬件產品中提供Lustre,以期將Lustre引入自家的ZFS和Solaris作業系統。2008年11月,Braam離開了昇陽微系統,由Eric Barton和Andreas Dilger接管Lustre專案。2010年,甲骨文公司收購Sun,開始管理和發佈Lustre。

架構 編輯

Lustre檔案系統包括三種主要的功能單元。

  • 元數據伺服器(metadata servers,MDSes)。一個Lustre檔案系統通常擁有兩個元數據伺服器(active和standby),一個元數據伺服器則擁有若干元數據目標(metadata targets,MDTs)。元數據目標儲存名字空間元數據:檔名、目錄、訪問權限、檔案結構等資訊。不同於諸如GPFSPanFS等基於塊並由元數據伺服器控制所有塊分配的分散式檔案系統,Lustre元數據伺服器僅僅關心路徑搜尋和權限檢查而不會牽涉任何的檔案I/O操作。該特性避免元數據伺服器成為叢集擴充的瓶頸。單個檔案系統擁有多個元數據目標是從2.4開始引入的新特性。
  • 對象儲存伺服器(object storage servers,OSSes)將檔案數據儲存於一個或多個對象儲存目標(object storage targets,OSTs)中。取決於伺服器硬件,一個對象儲存伺服器通常有二到八個對象儲存目標,每個對象儲存目標管理一個本地檔案系統。Lustre檔案系統的空間等於所有對象儲存目標的容量總和。
  • 客戶機(Clients)能訪問並使用數據。Lustre為所有客戶機提供統一的命名空間。

MDT、OST和Client可以位於同一節點(通常用於測試),但在典型的生產環境中這些功能組件安裝在使用網絡進行通訊的不同節點。 Lustre Network(LNET)層可以使用多種類型的網絡互連,包括InfiniBand乙太網路等。如果遠端直接內存訪問(RDMA)傳輸可用,Lustre將利用它提高吞吐量降低CPU使用率。

編輯

網絡 編輯

高可用性 編輯

部署 編輯

參見 編輯

參考資料 編輯

外部連結 編輯