k8s-node-notready

生产环境安全提示

本文档包含可直接执行的运维命令。执行前请确认：当前目标集群与 Namespace 是否正确；是否具备足够的 RBAC 权限；是否已在非生产环境验证。命令风险等级标注：🔴 高风险（可能造成数据丢失或服务中断）、🟡 中风险（会修改集群状态，但通常可回滚）、🟢 低风险/只读（信息收集，无副作用）。

K8s Node NotReady 诊断与修复

Node NotReady 是 [[kubernetes|Kubernetes]] 集群中爆炸半径最大的问题类型之一。当节点进入 NotReady 状态，控制平面将在 pod-eviction-timeout（默认 5 分钟）后驱逐该节点上所有非 [[daemonset|DaemonSet]] Pod。控制平面节点 NotReady 可能直接威胁集群可用性。

本 [[SKILL|Skill]] 覆盖 kubelet 异常、容器运行时问题、网络分区、资源压力（磁盘/内存/PID）、证书过期等全部 12 种根因的诊断和修复。

何时使用此 Skill

症状	检测方法	置信度
kubectl get nodes 显示 NotReady	`kubectl get nodes	grep NotReady`
节点状态在 Ready/NotReady 间频繁切换	Events 中交替出现 NodeReady/NodeNotReady	0.85
Prometheus 告警 KubeNodeNotReady 触发	kube_node_status_condition{condition="Ready",status="false"}	0.95
节点上 Pod 被大量驱逐	kubectl get events --field-selector reason=Evicted	0.80
Node Lease 长时间未更新	kubectl get lease -n kube-node-lease <node>	0.90

排除条件: 节点 Ready 但 Pod CrashLoopBackOff → SKILL-POD-001; 节点 Ready 但 Pod Pending → SKILL-POD-002; 证书错误但节点 Ready → SKILL-SEC-001

快速分级（2 分钟内完成）

NotReady 节点数 / 总节点数
├── > 50% ──────────────→ 立即升级（跳过诊断）
├── > 30% 或控制平面节点 → P0（15min 内确认根因）
├── 多个工作节点 ────────→ P1（30min 内修复）
├── 单个工作节点 ────────→ P2（2h 内修复）
└── 新节点未承载业务 ────→ P3（4h 内处理）

立即升级条件（跳过所有诊断步骤）:

• 50% 节点 NotReady

• 所有控制平面节点 NotReady
• kubectl get nodes 本身超时
• NotReady 数量在 5 分钟内持续增加

执行流程

# 🟢 低风险：只读/信息收集，通常无副作用
工单/告警触发
    │
    ▼
┌──────────────┐    脚本: scripts/diagnose-quick.sh
│ Phase 1      │    内容: kubectl 快速检查（只读，零风险）
│ 快速检查      │    Step: D1.1-D1.5
└──────┬───────┘
       │ 无法确认根因
       ▼
┌──────────────┐    脚本: scripts/diagnose-deep.sh
│ Phase 2      │         scripts/check-resources.sh
│ 深度检查      │    内容: SSH 到节点检查（只读，零风险）
│ (需SSH)      │    Step: D2.1-D2.10
└──────┬───────┘
       │ 需主动探测
       ▼
┌──────────────┐    参考: reference/diagnostic-workflow.md
│ Phase 3      │    内容: 主动探测（低风险，可能需审批）
│ 主动探测      │    Step: D3.1-D3.3
└──────┬───────┘
       │ 确认根因
       ▼
┌──────────────┐    参考: reference/root-cause-catalog.md
│ 根因匹配      │    数据: assets/root-cause-map.yaml
│ RC-001~012   │
└──────┬───────┘
       │
       ▼
┌──────────────┐    参考: reference/remediation-playbook.md
│ 修复操作      │    脚本: scripts/cleanup-disk.sh (REM-002)
│ REM-001~010  │    风险: LOW → MEDIUM → HIGH → CRITICAL
└──────┬───────┘
       │
       ▼
┌──────────────┐    脚本: scripts/verify-node.sh
│ 验证确认      │    检查: 节点状态/Conditions/Lease/Pod
└──────────────┘