HBlock

HBlock是一款輕量級存儲集群控制器，因其可以將伺服器集群中閒置零散的存儲空間整合為高可用、高性能的邏輯卷，因此被定義為一種存儲資源盤活系統。

背景

HBlock 的開發動機源於中國電信集團首席專家江峰發現很多所謂的「軟件定義存儲」，尤其是提供 SCSI 或 NVMe 接口的塊存儲系統，並不像應用程式那樣能讓用戶自助下載、安裝和使用，而往往是面向存儲場景定製的作業系統，因此存在安裝包體積大、獨佔整台伺服器、硬件兼容問題多、受 Linux 內核 GPLv2 限制難以免註冊分發等問題。

為此，江峰提出打造一款輕量級存儲集群控制器，把存儲接口、存儲引擎、介質管理和集群管理等模塊都集成在一個用戶態程序（即控制器）中實現，使之可以像普通應用程式一樣被分發和使用，給用戶帶來更便捷的安裝和使用體驗。

HBlock 於2023年發布首個穩定版本，支持非獨佔式、非對稱、異構部署，具備高可用、可伸縮等特性。後續迭代中，擴展了對 Kubernetes、OpenStack 的生態支持；實現了存儲網關能力，可將邏輯卷數據一致性同步到支持類S3協議對象存儲中；支持多級故障域、跨AZ部署、快照、克隆等能力。

特性

• 安裝與配置：HBlock 以小體積壓縮包分發，解壓後執行 install 命令完成安裝，在任一安裝了HBlock的伺服器執行 setup 命令或在 Web 界面操作，不需要SSH免密配置，可自動發現全部節點並建立集群。
• API 接口：HBlock 提供安裝、配置、使用和監控等 API 接口，支持通過接口調用方式集成HBlock能力。
• 異構混部：HBlock 支持將異構伺服器組成存儲集群，其進程不依賴作業系統內核，不獨佔資源，可與其他應用混合部署運行在同一Linux實例中，並通過配額功能控制數據目錄的磁盤空間佔用以實現穩定運行。
• 數據保護：HBlock 支持塊數據備份至對象存儲，支持 ROW（Redirect-on-Write）快照，並可通過快照生成克隆卷，快照採用增量存儲技術以減少空間佔用。
• 數據冗餘與容錯：HBlock 支持定義多級故障域（機房/機架/伺服器/數據目錄），通過多副本或糾刪碼（EC）實現數據冗餘。當故障域不足時，可通過副本摺疊功能在同一故障域內部存儲冗餘數據。
• 存儲介質分級：HBlock 支持創建基於不同存儲介質的存儲池（如 SSD/HDD）。用戶可為邏輯卷（LUN）指定高速緩存池與後端（低速）存儲池，系統自動遷移冷數據至後端（低速）存儲池。
• 動態資源分配：HBlock 支持自動精簡配置，按實際寫入數據量動態分配存儲空間，支持橫向擴展存儲容量。

技術

• 讀寫性能優化：HBlock 支持 WriteBack/WriteThrough/WriteAround 三種寫緩存模式，可根據業務需求動態調整數據持久性與性能優先級策略。讀緩存設計包含分段鎖機制、LRU 淘汰策略及預讀算法，支持按需更新緩存內容。通過索引與數據的多級緩存分層技術，實現客戶端負載與硬件資源之間的自適應。
• 服務可用性優化：HBlock 採用分布式多控架構實現故障切換，主控與備用節點通過強一致性協議同步緩存數據。自動控制寫入速度，當資源緊張時自動限制 IOPS，避免系統過載。支持數據重構與均衡任務的可調節速率策略，允許管理員根據實時負載動態分配帶寬資源。
• 數據冗餘與完整性保護：HBlock 支持多副本及糾刪碼（EC）冗餘策略，其中 EC 算法最大支持 128 個數據塊與校驗塊組合（得盤率≥98%）。採用 CRC32C 算法校驗 iSCSI 數據傳輸完整性，數據寫入時同步記錄 SHA-256 摘要，讀取階段執行內容與摘要的對比驗證。定期掃描提前發現和修復存儲介質可能出現的靜默錯誤，限制其影響範圍，確保數據的完整性與可靠性。
• 動態數據分布策略：HBlock 使用綜合節點容量、IO 壓力、網絡延遲、介質性能的策略進行數據分布，支持橫向（增加節點）與縱向（擴展存儲設備）兩種擴容模式。新增存儲設備優先承接數據寫入，系統自動識別低負載時段執行存量數據再均衡任務。創建高可用卷時，採用無初值預測分布模型結合實時節點狀態選擇服務節點，提升性能表現。

Roadmap

• 卷級別服務質量控制：支持為存儲卷配置獨立的 I/O 資源配額，通過帶寬限制與優先級調度策略實現多工作負載環境下的資源隔離。該功能允許基於預設規則分配存儲系統的吞吐量和 IOPS 資源。
• 備份：提供全量備份與增量備份模式，支持將存儲卷數據導出為標準化文件格式進行異地備份。
• 訪問權限管理：基於訪問路徑白名單與客戶端證書認證機制實現存儲卷訪問控制，支持為不同租戶配置獨立的邏輯存儲分區。
• 數據增量同步：採用基於對象存儲的增量同步協議，支持將原集群數據上傳至雲端存儲後，在新集群執行數據還原，並保持多集群間的數據同步。

應用

HBlock 通過標準 iSCSI 協議提供分布式塊存儲服務，部署集群後可通過卷管理功能掛載存儲卷至本地或遠程主機，作為標準塊設備使用，支持與文件服務、數據庫和虛擬機文件系統（VMFS）等應用場景。