降级不是开关:一次支付回调超时事故的复盘
我们有一套完整的熔断降级方案,但那一次事故里它一个都没生效。这篇复盘为什么「有方案」和「有效」之间隔着十万八千里。
凌晨一点,我负责的那个支付回调服务开始超时。我们的熔断器配置是 30 秒窗口、错误率超过 50% 触发——理论上应该生效。
它没生效。
复盘:方案和现实的三层差距
差距一:配置在,但没有生效路径
我们的熔断器包在一个 RPC client 里,而这个 client 只在同步调用路径上使用。支付回调的处理逻辑是:
javascript
// 看起来有熔断保护
const result = await rpcClient.withCircuitBreaker('payment.notify', payload);
await processCallback(result);但实际链路里,rpcClient 被我们的依赖注入容器替换成了另一个实现(为了加链路追踪),那个实现里没有熔断包装。
代码审查时没人发现,因为接口是通的、类型是对的。
这不是编码问题,是验证问题:没有集成测试覆盖降级路径。
差距二:触发条件不匹配真实故障
我们的错误率统计只统计了明确抛出的异常。而这次事故的表征是超时——连接没断,只是慢。
javascript
// ❌ 超时被 catch 后归类为"成功",因为 finally 里记了日志
try {
const res = await withTimeout(call(), 3000);
metrics.success();
return res;
} catch (err) {
metrics.failure(err.name === 'TimeoutError' ? 'timeout' : 'error');
throw err;
} finally {
logger.info('call finished');
}统计口径错了,熔断器永远看不到足够的错误率。
差距三:降级后的返回值没定义
假设熔断真的触发了,rpcClient 该返回什么?
我们没有定义过。结果是熔断打开后,上游拿到 undefined,然后在处理回调时抛了一个新的 TypeError——故障被放大了,而不是被隔离。
重做后的三层降级
第一层:超时兜底必须显式定义
javascript
const DEGRADED = Object.freeze({ degraded: true, reason: 'circuit_open' });
async function notifyPayment(payload, { timeout = 3000 } = {}) {
try {
return await withTimeout(realCall(payload), timeout);
} catch (err) {
if (err.name === 'TimeoutError') {
// 超时计入失败,这是熔断能生效的前提
metrics.increment('rpc.failure', { kind: 'timeout' });
// 关键:明确的降级值,而不是 undefined
return DEGRADED;
}
metrics.increment('rpc.failure', { kind: 'error' });
throw err;
}
}第二层:把降级值变成一等公民
typescript
// 降级结果必须能被类型系统识别,调用方必须处理
type RpcResult<T> =
| { ok: true; data: T }
| { ok: false; reason: 'circuit_open' | 'timeout'; retryable: boolean };编译器会强制每一个调用方处理失败分支。这比代码评审可靠得多。
第三层:验证降级真的会生效
javascript
// 集成测试:注入一个必然失败的 client,断言熔断打开后的行为
it('熔断打开后返回可识别的降级值', async () => {
const breaker = new CircuitBreaker({ errorThreshold: 0.5, window: 1000 });
const client = breaker.wrap({
call: async () => { throw new Error('ECONNRESET'); },
});
// 第一次失败
const first = await client.call().catch(e => e);
expect(first).toBeInstanceOf(Error);
// 触发熔断
const result = await client.call();
expect(result).toEqual({ degraded: true, reason: 'circuit_open' });
});降级路径必须有测试,这是这次事故之后我们定下的硬性规范。
复盘清单
我把这三条写进了团队的 review 模板:
- 降级路径是否有集成测试覆盖?
- 降级后返回什么,是否在类型层面定义?
- 超时是否被计入失败统计?
- 熔断器包裹的实例,是否就是运行时真正使用的那个实例?
最后一条是这次事故最贵的教训:"有中间件"和"中间件生效"是两件事,而只有运行时能证明后者。