AWS账号购买 AWS EKS Node 节点状态变 NotReady?CNI 网络插件与 API Server 连通性排查
遇到 AWS EKS Node 节点状态变 NotReady,先别急着删节点或重建节点组。现场里更常见的情况是 CNI 网络插件没起来、节点到 API Server 的链路不通,或者账号侧的支付审核、配额限制把扩容和替换节点卡住了。
排障顺序建议:先看节点有没有持续上报状态,再看 aws-node 和子网/IP,最后确认账号、支付、配额和成本侧有没有隐藏阻塞。
AWS EKS Node 节点状态变 NotReady 时,先看这三条链路
判断方向比盲目操作更重要。NotReady 不是一个单点结论,通常落在下面三类:
- 节点本身异常:kubelet、容器运行时、磁盘压力、内存压力。
- CNI 异常:aws-node 没起来、ENI 分配失败、子网 IP 不够、版本不兼容。
- 控制面连通性异常:节点访问不到 API Server,或者认证、路由、安全组有阻断。
AWS账号购买 如果是单个节点 NotReady,优先看实例和系统层;如果是多个节点同时掉状态,先看网络和控制面;如果是新建节点一直加不进来,再看账号、配额和账单状态。
| 现象 | 更可能的方向 | 先处理什么 |
|---|---|---|
| 只有一台节点 NotReady | 实例或系统层 | 看 kubelet、磁盘、内存、容器运行时 |
| aws-node 全部异常 | CNI 或 IAM | 看 DaemonSet、节点角色、子网 IP |
| 多台节点同时 NotReady | API Server 连通性 | 看 443、DNS、路由、安全组、NAT |
| 新节点起不来,旧节点还在 | 配额或账单限制 | 看实例配额、支付状态、审核状态 |
先查 CNI 网络插件,不要一上来重装节点
1. 看 aws-node 是否正常
很多 NotReady 不是节点坏了,而是 aws-node 没把 Pod 网络建立起来。先看 kube-system 里的状态,再看日志。
常用检查思路:节点是否有对应的 aws-node Pod、Pod 是否 CrashLoopBackOff、日志里是否出现 AccessDenied、Unauthorized、failed to describe ENIs、failed to assign IP 等信息。
- 如果是 ImagePullBackOff,优先看节点是否能访问镜像仓库,以及节点角色权限是否完整。
- 如果是 AccessDenied,优先看 IAM 角色、aws-auth 配置、CNI 相关权限是否缺失。
- 如果 Pod 表面 Running,但调度新 Pod 时频繁失败,优先怀疑 IP 和 ENI 资源耗尽。
2. 子网 IP 和 ENI 上限经常被忽略
现场里很常见的误判是把 IP 耗尽当成网络故障。子网可用 IP 不够时,节点可能还能在线,但 Pod 一多就开始异常,最后表现为 NotReady 或频繁抖动。
- 确认节点所在子网是否还有足够可用 IP。
- 确认实例类型的 ENI 和单机最大 Pod 数没有被你配置得过高。
- 确认是否有其他业务、灰度环境、临时测试环境占用了同一子网地址段。
3. CNI 版本和集群版本要一起看
升级 EKS 集群版本后,很多人只看控制面升级是否成功,忘了同步检查 aws-vpc-cni addon。版本不合适时,不一定马上报错,但会出现节点逐步不稳定、Pod 分配失败、网络时好时坏。
如果你最近做过升级、切换 AMI、替换节点镜像,这一项要优先看。
API Server 连通性排查按这个顺序走
- 先确认节点能不能访问集群 endpoint 的 443 端口。
- 确认集群是 public endpoint、private endpoint,还是两者都开。
- 检查节点安全组、集群安全组、NACL、路由表是否互相匹配。
- 如果是私有集群,确认 NAT Gateway 或 VPC Endpoint 没断。
- 确认 DNS 能正常解析集群地址,别只盯着端口本身。
很多人只改安全组入站,忽略了出站和回程路径。还有一类问题出在私有集群:控制面地址改成私有后,跳板机不在同一网络,或者 VPC Peering、Transit Gateway 没放通,节点表面上在线,实际上拿不到 API Server 的响应。
- 如果日志里出现 x509 相关报错,顺手检查系统时间和证书链。
- 如果节点在不同可用区表现不一致,优先看对应 AZ 的路由和子网配置。
- 如果只有新节点异常,旧节点正常,重点看新节点启动脚本、实例角色和 bootstrap 参数。
账号购买、实名认证、企业认证、支付方式,会怎么影响排查
如果你的 AWS 账号来自企业采购、渠道购买、代付或预充值流程,先把账号状态和账单状态看清楚。很多运维现场把“节点 NotReady”和“账号被审核、付款失败、额度不足”混在一起,最后修了半天网络,结果真正卡点在账号侧。
- 账号购买后如果还在企业认证、资质审核、付款验证阶段,新增资源可能被限制。
- 支付方式变更、信用卡验证失败、账单异常时,扩容和替换节点可能失败,但老节点短时间内还会继续工作。
- 如果你走的是对公结算、预充值或授信额度,先确认余额、账期和到期时间,别等故障时才发现额度不够。
- 账号风控审核期间,不要一边排障一边频繁创建、删除节点组,容易把问题放大。
需要特别说明的是,AWS 国际站的场景里,很多“实名认证”并不是传统国内式实名流程,但企业采购、对公付款、税务资料、授权绑定这些动作,都会影响你能不能顺利创建资源、扩容节点和拉镜像。
| 账号侧状态 | 常见表现 | 建议动作 |
|---|---|---|
| 支付方式未验证 | 扩容失败或创建节点组失败 | 先确认账单和付款方式是否正常 |
| 企业认证未完成 | 审批慢、资源申请卡住 | 先补齐企业资料,再做集群扩展 |
| 授信额度不足 | 新节点起不来,替换节点失败 | 先处理额度或充值,再排网络 |
| 风控审核中 | 创建资源受限,日志看似正常 | 先停掉重复操作,走审核恢复流程 |
资源限制和成本控制,要和排障一起看
NotReady 看起来是技术故障,但很多时候背后是资源限制。尤其在生产和测试混用、多个团队共用同一个账号时,资源配额和成本控制会直接影响你能不能把节点拉起来。
- 先看 EC2 实例配额、EKS 相关配额、子网 IP、ENI 上限。
- 如果节点替换失败,别只看 EKS,顺手看目标区域是否还有可用容量。
- 成本控制不是简单缩小规格,先要把故障范围隔离出来,再决定是否使用更小实例、Spot 或临时节点组。
- 排障期间的日志、监控、NAT 流量、临时扩容都会增加成本,建议保留必要窗口,不要长期挂着临时资源。
AWS账号购买 有些团队为了省钱,把多个业务都塞在同一批节点和同一子网里,一旦 IP 不够或者 CNI 异常,影响面会非常大。更稳妥的做法是把生产业务、测试业务、批处理任务分开,至少把排障节点和正式业务节点隔离开。
最常见的几个错误
- 看到 NotReady 就直接删节点,结果把排障线索也删掉了。
- 只看节点状态,不看 aws-node 日志和子网 IP。
- AWS账号购买 私有集群只配了节点安全组,没查 NAT、VPC Endpoint 和 DNS。
- 把账号支付审核、风控冻结误判成网络问题,反复重建节点组。
- 只调大实例规格,不看配额和成本,最后还是加不进来。
什么时候该继续自己排,什么时候该先停手
- 如果是单台节点 NotReady,而且日志指向 kubelet、磁盘或容器运行时,可以先在节点层面处理。
- 如果是多台节点一起异常,或者 aws-node 全部报错,先查网络、IAM 和 API Server 连通性。
- 如果新节点组创建失败,同时控制台提示配额、付款、审核或账号限制,先处理账号侧问题,再继续排技术故障。
- 如果你已经改过安全组、路由、CNI 版本,但问题范围还在扩大,建议先冻结变更,避免越改越乱。
FAQ
Q1:AWS EKS 节点 NotReady,一定要重建吗?
不一定。只有在实例损坏、系统层恢复不了,或者节点本身状态已经不可逆时,才考虑重建。多数情况是 CNI、子网 IP、权限或连通性问题。
AWS账号购买 Q2:怎么快速判断是 CNI 还是 API Server 问题?
先看 aws-node。aws-node 异常,更偏向 CNI、IAM、子网 IP;aws-node 正常但节点持续掉 Ready,更偏向 API Server 连通性、路由、安全组或 DNS。
Q3:账号还在支付审核或企业认证阶段,能继续排 NotReady 吗?
可以排,但一定先确认账单、支付方式、授信和配额没有卡住。否则你会发现网络修好了,新节点还是起不来。
Q4:成本控制和 NotReady 排障有什么关系?
关系很大。很多故障不是节点坏,而是配额、IP、ENI 或预算限制导致替换节点失败。先判断资源能不能创建,再谈扩容和优化成本。
如果你现在正在处理 AWS EKS Node NotReady,建议按“节点状态 - CNI - API Server - 账号与配额 - 成本与资源”的顺序走。这个顺序通常比先重建、先扩容更省时间,也更容易定位真正的阻塞点。
如果需要更深入咨询了解可以联系全球代理上TG: @cloudcup 他们在云平台领域有更专业的知识和建议,他们有国际阿里云,国际腾讯云,国际华为云,aws亚马逊,谷歌云一级代理的渠道,微软云开户充值。oss防风控上传加密系统。客服1V1服务,支持免实名、免备案、免绑卡。开通即享专属VIP优惠、充值秒到账、官网下单享双重售后支持。