知乎專欄 | 多維度架構 | 微信號 netkiller-ebook | QQ群:128659835 請註明“讀者” |
這種檔案系統通常至少有三部分組成,存儲節點,訪問節點,管理節點。不同的系統叫法不同,但其原理相同。
存儲節點,負責數據存儲,數據通過hash散列
訪問節點,用戶通過該節點訪問數據,做數據上傳下載。訪問方式分為點對點與三角方式
管理節點,服務數據Mirror,Strip等,元數據同步等等...
點到點系統只提供一個訪問入口,如:MooseFS
+--------------------------------+ | User | +--------------------------------+ | mount ip_address => /mnt/test | +--------------------------------+ | V ------------------ 1Gbps Ethernet --------------------- | | V V +-------------------------+ +----------------------+ | Manager Node | | Access node | +-------------------------+ +----------------------+ | Mirror | Strip | ... | | Index | +-------------------------+ +----------------------+ | V --------------------- 1Gbps Ethernet --------------------- | | | netkiller.sf.net | V V +---------------------+ +--------------------+ | Data Node | | Date Node | +---------------------+ +--------------------+ | 01 02 03 ... 10 | | 01 02 03 ... 10 | +--------------------+ | 0A 0B 0C ... 0F |<-- Mirror -->| 0A 0B 0C ... 0F | | Design by neo chen | | FA FB FC ... FF | | FA FB FC ... FF | +--------------------+ +---------------------+ +--------------------+
三角鏈路
+--------------------------------+ | Server Load Balancing | +--------------------------------+ | V ------------------ 1Gbps Ethernet ---------------------------------- | | | V V V +-------------------------+ +-------------+ +-------------+ | Manager Node | | Access Node | | Access Node | +-------------------------+ +-------------+ +-------------+ | Mirror | Strip | ... | | Index | | Index | +-------------------------+ +-------------+ +-------------+ | V --------------------- 1Gbps Ethernet --------------------- | | | netkiller.sf.net | V V +---------------------+ +--------------------+ | Data Node | | Date Node | +---------------------+ +--------------------+ | 01 02 03 ... 10 | | 01 02 03 ... 10 | +--------------------+ | 0A 0B 0C ... 0F |<-- Mirror -->| 0A 0B 0C ... 0F | | Design by neo chen | | FA FB FC ... FF | | FA FB FC ... FF | +--------------------+ +---------------------+ +--------------------+
這種檔案系統的特點是,當用戶訪問檔案系統時,首先訪問管理節點,管理節點會返回一個數據地址,用戶再從訪問節點的地址取得數據。
以MogileFS為代表
某些系統甚至直接使用反向代理或者WEB伺服器作為訪問節點。這種系統非常適合多媒體數據存儲。通過負載均衡可能實現橫向與縱向靈活擴展