KNOWLEDGE / COLUMN 04
典型网络故障场景与处理思路
本页按原因、应对与预防的角度,整理代表性的故障场景。

本页的考虑方式
本页整理的是网络运维中可能出现的代表性故障场景,从原因、应对与防止再发的角度作为示例说明。
目的不是批评特定企业或产品,而是分享有助于防止再发和改善设计运维的知识。
不追究"谁的责任",而是从"如何预防""如何准备"的角度进行整理。
典型故障场景
场景 01:夜间维护后部分据点通信中断
现象
夜间配置变更作业后,部分据点无法与总部通信。
影响范围
特定据点的业务系统无法使用。经由 VPN 的远程办公也受到影响。
原因
冗余路由的路径控制未按预期工作,特定模式的流量被丢弃。
应对
首先实施优先绕行路由的临时应对。确认日志和配置差异,修正路径控制条件。
防止再发措施
重新审视夜间作业前后的检查清单,在测试模式中增加"按据点的连通性确认"。准备事前审查配置变更内容和影响范围的流程。
场景 02:固件更新后特定功能无法使用
现象
为应用安全补丁更新固件后,特定认证功能停止工作。
影响范围
无法从外部进行远程访问,在家办公人员无法访问业务系统。
原因
新固件中认证协议的实现发生变更,与现有配置不兼容。
应对
向供应商支持确认,临时回滚到旧固件。之后重新构建适应新固件的配置。
防止再发措施
准备在固件更新前于验证环境确认主要功能运行的流程。将详细确认发布说明设为必需步骤。
场景 03:因意外负载集中导致网络拥塞
现象
正常业务时间段,特定网络段发生通信延迟,部分应用程序超时。
影响范围
销售部门的客户管理系统无法使用。电话应对中无法确认客户信息,影响业务。
原因
新引入的云服务备份处理产生了超出预期的流量。
应对
暂停备份处理,使通信恢复正常。之后重新设置备份计划和带宽限制。
防止再发措施
在引入新服务时,增加事前评估流量模式和对现有网络影响的流程。强化带宽监控和告警设置。
从故障场景中可以整理出的设计与运维要点
仅有操作手册还不够
发生意外情况时,需要现场有判断余地。
监控阈值设置很重要
告警过多或过少,都会错过真正需要的信号。
备用机和备件的有无会改变结果
仅有备用机或线缆,恢复时间和选择就会大不相同。
联络体制是否完善会改变恢复时间
越明确向谁、按什么顺序、用什么手段联络,初动越快。
验证环境的重要性
不在生产环境尝试,而是有事前验证的环境,可以大幅降低风险。
准备回滚步骤
如果恢复变更的步骤明确,问题发生时的判断就会加快。