设计分布式文件系统核心是分层架构：元数据服务管理文件目录树，数据服务存储实际块，客户端通过协议访问。先用一致性哈希分配数据避免单点故障，优化时加缓存层和异步复制提升性能，必看路径是从GFS论文起步，实践HDFS再调优到Ceph级别。

架构基础

分布式文件系统架构通常分为客户端、元数据服务器（Master）和数据服务器（Chunkservers）。Master 负责文件命名空间和访问权限，Chunkservers 存储文件块。客户端直接与 Chunkservers 通信读取数据，避免 Master 成为瓶颈。GFS 就是这样设计的，文件以固定大小的块存储，每个块有多个副本。

数据分布与一致性

数据分布用一致性哈希环，每个数据节点负责一段虚拟环，文件块根据哈希值映射到节点。新节点加入时，只需移动相邻一段数据。强一致性用 Paxos 或 Raft 选主同步元数据，弱一致性适合读多写少场景如日志系统，最终一致性通过多副本异步复制实现。

容错与恢复

容错靠多副本，通常3副本，主副本在不同机架。节点故障时，Master 检测心跳失败，指示其他副本提升并从存活副本重建。快照机制允许一致性备份，checksum 校验数据完整性。优化恢复速度用预复制，故障前就多建副本。

性能优化

优化从客户端缓存读热点数据，批量写用 append-only 模式减少随机IO。元数据分片到多 Master，按目录树分区。网络用 RDMA 低延迟，存储层用 SSD + HDD 分层，热数据上 SSD。监控指标包括延迟、吞吐、利用率，热点检测后迁移数据。

实际案例HDFS

HDFS 是 Hadoop 的分布式文件系统，NameNode 存元数据，DataNode 存块。Federation 分多个 NameNode 扩展命名空间，Erasure Coding 取代部分副本节省空间。优化参数如 dfs.block.size=128M，副本数3，heartbeat 间隔调小提高故障检测。

Ceph实践经验

Ceph 无单点，CRUSH 算法计算数据位置，OSD 存对象。PG 组分散负载，放置组规则确保副本分布。优化时调 pg_num 匹配 OSD 数，避免 split/merge 开销，用 BlueStore 后端提升性能，客户端缓存 metadata 减 MDS 压力。

FAQ

Q: 分布式文件系统单点故障怎么解决？
A: 用多 Master 分片元数据，或无主设计如 Ceph CRUSH，主从选举用 Raft 快速 failover。

Q: 大文件读写性能差怎么优化？
A: 增大块大小到 128M-256M，用顺序 append 写，客户端并行读多副本，取最快源。

Q: 怎么选一致性模型？
A: 读多写少用最终一致性节省性能，强一致需求如金融用两阶段提交或 Paxos。

Q: 部署时硬件怎么配？
A: 数据节点 10G网卡+大磁盘，Master 高内存SSD，分离网络避免干扰，3副本跨 rack/az。