结论先行:分库分表是"最后手段"而不是"第一反应"——先归档、先读写分离、先缓存,数据量与写入 QPS 确实顶不住了再拆。一旦拆了,跨分片查询、分布式事务、扩容这三座山会伴随系统终生;所以动手前想清楚分片键和扩容方案,是整个决策里性价比最高的投入。
什么时候该拆
经验阈值可以参考,但不是死线:
- 单表 B+ 树涨到 4 层(经验上 2000 万~5000 万行,取决于行宽),查询明显变慢;
- 单实例磁盘扛不住全量数据、缓冲池命中率持续下滑;
- 写入 QPS 到达单实例瓶颈(经验值数千),主从只能分摊读、解决不了写。
三个信号里最容易被误读的是第一个:行数超了两千万不代表必须拆——短行宽的表五六千万行照样健康,真正的判据是"树高变 4 之后,核心查询的延迟与 IO 成本是否可接受"。反过来,行数没到但行宽极大(一行几 KB、大字段塞在表里)的表,可能一千万行就该拆了。
写入瓶颈的判定要区分两类负载:读放大可以用从库和缓存吸收,写放大只能靠更快的盘或分片。判断"写"是否到顶,看三个指标:磁盘的写延迟与 util、redo log 刷盘等待、以及缓冲池脏页比例(innodb_max_dirty_pages_pct 触发激进刷脏的频率)。写入 QPS 数字本身不可靠——批量小事务与批量合并写入的吞吐可以差一个数量级,判定瓶颈要回到物理资源上。
动手前先穷尽"不拆"的手段:冷热分离归档历史数据(往往砍掉七成以上)、读写分离分摊读压力、大字段拆出独立表、极热数据上缓存。归档的成本是拆库的零头:建一张同构历史表加定时迁移任务,主表瘦身立竿见影,而且完全可逆。很多团队是在归档做完之后发现"拆"这个需求自己消失了。归档方案还有个容易漏掉的细节:历史表也要有索引设计和容量上限,否则只是把大表问题延后到历史表上——历史数据查询少但不是没有,商家查历史订单的入口必须保留,否则归档就变成了丢数据。
拆分维度:分片键决定一切
选分片键只有一条原则:让八成以上的高频查询不需要跨分片。
- 订单表按 user_id 拆:C 端"查我的订单"全部单分片命中,但商家按订单号查就跨分片;
- 解决办法是基因法:让 order_id 携带 user_id 的特征位,或建 order_id → user_id 的映射表,两种维度都能路由到同一分片;
- 千万别选"查询条件里根本不会出现"的字段做分片键,那等于每次全分片广播。
分片键一旦确定就几乎不可更改——所有存量数据的路由都由它决定,改分片键等于重做一遍分库分表。所以评审分片键时,要把系统未来一年内已知的查询模式全部列出来逐条核对:有没有运营后台的全表导出?有没有按商家、按审核状态、按时间段的查询?这些查询要么路由到分片键上,要么明确走外置检索,不要留给中间件硬扛。
-- 错误姿势:条件不带分片键,中间件广播到所有分片、内存归并
-- 分片数越多越慢,等于把一次单表全扫放大成 N 次全扫
SELECT * FROM orders WHERE status = 1 AND created_at > '2026-01-01';
-- 正确姿势:条件带分片键 user_id,路由到单分片
SELECT * FROM orders
WHERE user_id = 9527 AND status = 1 AND created_at > '2026-01-01';
分片算法
| 算法 | 数据分布 | 扩容成本 | 热点风险 | 适合场景 |
|---|---|---|---|---|
| hash 取模 | 均匀 | 高:大面积迁移 | 低 | 分片数一步到位不再扩 |
| range 按区间 | 按范围集中 | 低:只加新分片 | 高:新数据全在最新分片 | 日志、归档类时序数据 |
| 一致性 hash | 相对均匀 | 中:只迁移相邻环段 | 低 | 分片数会逐步增长的系统 |
| 预分组(逻辑分片) | 均匀 | 低:只迁移部分组 | 低 | 多数业务系统的实际选择 |
预分组的思路是把"物理分片数"和"逻辑分片数"解耦:先按 hash 切成 1024 个逻辑组,再把逻辑组映射到当下的物理库。扩容时只搬迁部分逻辑组,路由表改一下映射即可,业务无感。多数团队的实际选择是它或一致性 hash。
拆分后必须面对的问题
-- 分布式 ID:分片后各表自增必然冲突,改用雪花 ID(趋势递增,对 B+ 树友好)
-- 基因法示例:让 order_id 末 2 位携带 user_id 末 2 位
-- user_id = 9527 → 路由到 27 号分片;按 user_id 查与按 order_id 查落到同一分片
SELECT * FROM orders_27 WHERE order_id = 2026072112345627;
基因法的生成端在应用层,Java 实现只需要按位覆盖:
public long genOrderId(long userId, long snowflakeId) {
int shardBits = 10; // 预留 1024 个逻辑分片
long gene = userId & ((1 << shardBits) - 1); // 取 user_id 低 10 位作为分片基因
long mask = ((1L << shardBits) - 1);
return (snowflakeId & ~mask) | gene; // 覆盖 order_id 低 10 位
}
// 按 order_id 查询时:orderId & mask 即分片位,与按 user_id 路由结果一致
- 跨分片查询:聚合与排序要在内存归并,中间件(ShardingSphere-JDBC/Proxy)负责改写 SQL 并归并结果;性能敏感的复杂查询走 ES 或数仓外置,不要硬扛;
- 跨分片分页的放大效应:
LIMIT offset, n会被改写成每个分片取 offset + n 行再归并,第 100 页意味着每分片都吐几千行进内存——深分页问题在分片架构里被放大 N 倍,产品层游标翻页 + 禁止跳页是唯一可持续的方案; - 分布式事务:跨分片强一致代价高,尽量设计成同分片本地事务,跨分片用消息表/事务消息做最终一致;
- 扩容:翻倍扩容(一次迁移一半数据,成本最低)或一致性 hash;迁移期间双写 + 灰度切读,随时可回滚;
- 运维:每个分片独立备份,DDL 要在所有分片执行,工具化流水线是刚需而不是可选项。
选型建议:绝大多数团队直接用 ShardingSphere,或评估云上分布式数据库(TiDB、PolarDB-X 等),自研分片中间件的成本远超想象。
一句话总结:拆之前穷尽单机手段,拆的时候把分片键和扩容方案一次想对——这两步决定你是"一次拆对",还是"年年翻新"。
生产案例
某交易系统在订单量破亿后启动分库分表,第一版方案按 order_id 哈希取模 16 库。上线两个月后问题暴露:商家后台的"查店铺订单"全部广播 16 库,高峰期聚合排序把中间件内存打满;更麻烦的是运营按天导出订单,跑一次广播查询就是一次全站抖动。团队被迫二次重构:分片键改为 user_id + 基因法,order_id 生成器改造时嵌入 user_id 特征位,商家维度查询整体迁到 ES(基于 binlog 同步),运营导出迁到数仓;扩容方案从哈希取模改为预分组——先切 1024 个逻辑组映射到当时的 16 库,为后续翻倍扩容留好路。整个重构耗时数月,比一次拆对的成本高出一个量级。这个案例在团队内部形成了硬性评审项:分库分表立项时,必须提交"全量查询模式清单 + 每条查询的路由归属",清单里任何一条不能归到单分片的,都要给出外置方案,否则不批。
检查清单
- 立项前穷尽归档、读写分离、缓存、大字段外拆等单机手段
- 分片键满足八成以上高频查询单分片命中,并附全量查询模式清单
- 两种以上查询维度用基因法或映射表解决,不留广播查询
- 分片算法选预分组或一致性 hash,为扩容预留路径
- 分布式 ID 趋势递增(雪花 ID),并嵌入分片基因(如需要)
- 跨分片强一致需求改为本地事务 + 消息表最终一致
- 迁移方案支持双写、灰度切读、可回滚
- 所有分片的 DDL、备份、监控纳入统一的工具化流水线