KNOWLEDGE / COLUMN 04
现场实际发生的故障与应对
介绍现场实际发生的案例以及当时的判断和应对。
本页的考虑方式
本页的案例基于现场实际发生的故障，为避免客户或相关方被识别，已进行匿名化处理。
目的不是批评特定企业或产品，而是分享有助于防止再发和改善设计运维的知识。
不追究"谁的责任"，而是从"如何预防""如何准备"的角度进行整理。
案例研究
案例 01：夜间维护后部分据点通信中断的案例
现象
夜间配置变更作业后，部分据点无法与总部通信。
影响范围
特定据点的业务系统无法使用。经由 VPN 的远程办公也受到影响。
原因
冗余路由的路径控制未按预期工作，特定模式的流量被丢弃。
应对
首先实施优先绕行路由的临时应对。确认日志和配置差异，修正路径控制条件。
防止再发措施
重新审视夜间作业前后的检查清单，在测试模式中增加"按据点的连通性确认"。引入事前审查配置变更内容和影响范围的流程。
案例 02：固件更新后特定功能无法使用的案例
现象
为应用安全补丁更新固件后，特定认证功能停止工作。
影响范围
无法从外部进行远程访问，在家办公人员无法访问业务系统。
原因
新固件中认证协议的实现发生变更，与现有配置不兼容。
应对
联系供应商支持，临时回滚到旧固件。之后重新构建适应新固件的配置。
防止再发措施
确立固件更新前在验证环境中确认主要功能运行的流程。强制详细确认发布说明。
案例 03：因意外负载集中导致网络拥塞的案例
现象
正常业务时间段，特定网络段发生通信延迟。部分应用程序超时。
影响范围
销售部门的客户管理系统无法使用。电话应对中无法确认客户信息，影响业务。
原因
新引入的云服务备份处理产生了超出预期的流量。
应对
暂停备份处理，使通信恢复正常。之后重新设置备份计划和带宽限制。
防止再发措施
在引入新服务时，增加事前评估流量模式和对现有网络影响的流程。强化带宽监控和告警设置。
现场学到的教训
仅有操作手册还不够
发生意外情况时，需要现场有判断余地。
监控阈值设置很重要
告警过多或过少，都会错过真正需要的信号。
备用机和备件的有无会改变结果
仅有备用机或线缆，恢复时间和选择就会大不相同。
联络体制是否完善会改变恢复时间
越明确向谁、按什么顺序、用什么手段联络，初动越快。
验证环境的重要性
不在生产环境尝试，而是有事前验证的环境，可以大幅降低风险。
准备回滚步骤
如果恢复变更的步骤明确，问题发生时的判断就会加快。