HBlock

HBlock是一款轻量级存储集群控制器，因其可以将服务器集群中闲置零散的存储空间整合为高可用、高性能的逻辑卷，因此被定义为一种存储资源盘活系统。

背景

HBlock 的开发动机源于中国电信集团首席专家江峰发现很多所谓的“软件定义存储”，尤其是提供 SCSI 或 NVMe 接口的块存储系统，并不像应用程序那样能让用户自助下载、安装和使用，而往往是面向存储场景定制的操作系统，因此存在安装包体积大、独占整台服务器、硬件兼容问题多、受 Linux 内核 GPLv2 限制难以免注册分发等问题。

为此，江峰提出打造一款轻量级存储集群控制器，把存储接口、存储引擎、介质管理和集群管理等模块都集成在一个用户态程序（即控制器）中实现，使之可以像普通应用程序一样被分发和使用，给用户带来更便捷的安装和使用体验。

HBlock 于2023年发布首个稳定版本，支持非独占式、非对称、异构部署，具备高可用、可伸缩等特性。后续迭代中，扩展了对 Kubernetes、OpenStack 的生态支持；实现了存储网关能力，可将逻辑卷数据一致性同步到支持类S3协议对象存储中；支持多级故障域、跨AZ部署、快照、克隆等能力。

特性

• 安装与配置：HBlock 以小体积压缩包分发，解压后执行 install 命令完成安装，在任一安装了HBlock的服务器执行 setup 命令或在 Web 界面操作，不需要SSH免密配置，可自动发现全部节点并建立集群。
• API 接口：HBlock 提供安装、配置、使用和监控等 API 接口，支持通过接口调用方式集成HBlock能力。
• 异构混部：HBlock 支持将异构服务器组成存储集群，其进程不依赖操作系统内核，不独占资源，可与其他应用混合部署运行在同一Linux实例中，并通过配额功能控制数据目录的磁盘空间占用以实现稳定运行。
• 数据保护：HBlock 支持块数据备份至对象存储，支持 ROW（Redirect-on-Write）快照，并可通过快照生成克隆卷，快照采用增量存储技术以减少空间占用。
• 数据冗余与容错：HBlock 支持定义多级故障域（机房/机架/服务器/数据目录），通过多副本或纠删码（EC）实现数据冗余。当故障域不足时，可通过副本折叠功能在同一故障域内部存储冗余数据。
• 存储介质分级：HBlock 支持创建基于不同存储介质的存储池（如 SSD/HDD）。用户可为逻辑卷（LUN）指定高速缓存池与后端（低速）存储池，系统自动迁移冷数据至后端（低速）存储池。
• 动态资源分配：HBlock 支持自动精简配置，按实际写入数据量动态分配存储空间，支持横向扩展存储容量。

技术

• 读写性能优化：HBlock 支持 WriteBack/WriteThrough/WriteAround 三种写缓存模式，可根据业务需求动态调整数据持久性与性能优先级策略。读缓存设计包含分段锁机制、LRU 淘汰策略及预读算法，支持按需更新缓存内容。通过索引与数据的多级缓存分层技术，实现客户端负载与硬件资源之间的自适应。
• 服务可用性优化：HBlock 采用分布式多控架构实现故障切换，主控与备用节点通过强一致性协议同步缓存数据。自动控制写入速度，当资源紧张时自动限制 IOPS，避免系统过载。支持数据重构与均衡任务的可调节速率策略，允许管理员根据实时负载动态分配带宽资源。
• 数据冗余与完整性保护：HBlock 支持多副本及纠删码（EC）冗余策略，其中 EC 算法最大支持 128 个数据块与校验块组合（得盘率≥98%）。采用 CRC32C 算法校验 iSCSI 数据传输完整性，数据写入时同步记录 SHA-256 摘要，读取阶段执行内容与摘要的对比验证。定期扫描提前发现和修复存储介质可能出现的静默错误，限制其影响范围，确保数据的完整性与可靠性。
• 动态数据分布策略：HBlock 使用综合节点容量、IO 压力、网络延迟、介质性能的策略进行数据分布，支持横向（增加节点）与纵向（扩展存储设备）两种扩容模式。新增存储设备优先承接数据写入，系统自动识别低负载时段执行存量数据再均衡任务。创建高可用卷时，采用无初值预测分布模型结合实时节点状态选择服务节点，提升性能表现。

Roadmap

• 卷级别服务质量控制：支持为存储卷配置独立的 I/O 资源配额，通过带宽限制与优先级调度策略实现多工作负载环境下的资源隔离。该功能允许基于预设规则分配存储系统的吞吐量和 IOPS 资源。
• 备份：提供全量备份与增量备份模式，支持将存储卷数据导出为标准化文件格式进行异地备份。
• 访问权限管理：基于访问路径白名单与客户端证书认证机制实现存储卷访问控制，支持为不同租户配置独立的逻辑存储分区。
• 数据增量同步：采用基于对象存储的增量同步协议，支持将原集群数据上传至云端存储后，在新集群执行数据还原，并保持多集群间的数据同步。

应用

HBlock 通过标准 iSCSI 协议提供分布式块存储服务，部署集群后可通过卷管理功能挂载存储卷至本地或远程主机，作为标准块设备使用，支持与文件服务、数据库和虚拟机文件系统（VMFS）等应用场景。