一次 SSH「连不上」的完整排查:实例活着、端口通,却卡在 banner exchange

AI 生成声明:本文内容由 AI 生成或经 AI 辅助完成,请注意甄别。

一、故障现象

某天开始,连不上云上一台 ECS:

$ ssh root@<实例公网IP>
Connection timed out during banner exchange
Connection to <实例公网IP> port 22 timed out

但奇怪的是,几个"看起来应该相关"的地方都正常:

  • 控制台显示实例 Running
  • 云监控里 CPU、内存、磁盘都平稳
  • 换手机热点、换公司网络,一样连不上
  • 但同一个网络连 GitHub 的 SSH 完全正常

这就很反直觉了:如果服务器挂了,实例状态该异常;如果网络不通,端口该连不上;如果密钥错了,报错该是 Permission denied。现在报的是 banner exchange 超时——一种介于"能连"和"连不上"之间的状态。

二、先做最基础的确认

端口到底通不通

$ nc -zv <实例公网IP> 22
Connection to <实例公网IP> 22 port [tcp/ssh] succeeded!

TCP 三次握手是成功的。所以:

  • 安全组没有把 22 端口整个封掉
  • 实例的网络栈在响应
  • 不是"防火墙全拦"这种简单情况

sshd 活着吗

既然 TCP 通,直接裸连读 banner(不经过 ssh 客户端):

import socket
s = socket.create_connection(("<实例公网IP>", 22), timeout=6)
print(s.recv(64))
# b'SSH-2.0-OpenSSH_7.4'

服务器是活的,sshd 正常,还会主动发 banner。

但继续往下走就断了——只要发送客户端 banner,后续的 KEXINIT 就再也收不到。

会不会是被爆破打满连接数

这是公网 22 端口最常见的问题,先查:

$ grep -c "Failed password" /var/log/secure
0
$ ss -tn state established '( sport = :22 )' | wc -l
1
$ sshd -T | grep -i maxstartups
maxstartups 10:30:100

失败密码 0 次,连接数恒为 1,MaxStartups 是默认值没用满。

排除。而且日志里有一类很关键的记录:

sshd[xxxx]: Connection closed by <客户端出口IP> port xxxx [preauth]
sshd[xxxx]: Did not receive identification string from <客户端出口IP>

Did not receive identification string 意思是:sshd 一直在等客户端发 SSH 版本字符串,但没等到。反过来客户端那边报的也是"等你发 banner 没等到"。

双方都在等对方说话。 这说明数据包根本没在双向流动。

三、抓包看到真相

在服务器上抓包,同时从本地发起连接:

# 服务器侧
tcpdump -i eth0 -n -tttt -c 40 'tcp and host <客户端出口IP>'

# 本地侧(另一个窗口)
ssh root@<实例公网IP>

抓到的内容非常清晰:

client → server  [S]              ← TCP 握手开始
server → client  [S.]             ← 握手正常完成
client → server  [P.] length 22   ← 客户端 banner,22 字节,到达了
server → client  [.]  ack 23      ← 服务端确认收到
server → client  [P.] length 21   ← 服务端 banner,21 字节,也到了
client → server  [P.] length 1672 ← 客户端 KEXINIT
server → client  [P.] length 1280 ← 服务端 KEXINIT
server → client  [P.] length 1280 ← 重传 1
server → client  [P.] length 1280 ← 重传 2
server → client  [P.] length 1280 ← 重传 3
...                                ← 一路重传到第 7 次,跨度 14 秒

规律一目了然:

  • 20 字节级别的控制包、banner:双向畅通
  • 千字节级别的 KEXINIT:服务器连发 7 次,客户端一个没收到

SSH 的 KEXINIT 里携带密钥交换算法列表,通常在 1KB 上下。这个包过不去,握手就永远停在 banner exchange。

换个服务交叉验证

关键一步:找同一台机器上完全无关的服务做对照。

# 443 端口 TLS 握手
TCP 建连成功(19ms)→ TLS 握手超时

TLS 握手同样需要服务端回 1~3KB 的证书链。

两个完全不同的服务、同样的"小包能过、大包不通",这就把 sshd 彻底排除了——问题在网络上,不在 SSH 服务本身。

四、差点走偏的三个方向

排查过程中有三条路看起来很合理,最后都被证伪,值得记下来。

误判一:MTU 黑洞

"小包能过、大包被丢"是 PMTU 黑洞的教科书症状。于是把网卡 MTU 一档档往下压:

ip link set eth0 mtu 1400 && curl ...
ip link set eth0 mtu 1300 && curl ...
# ... 1200、1100、576、400、256、200

结果:全部 0 字节,毫无变化。 真正的 MTU 问题会在某个阈值处突然恢复,这里不是。

误判二:客户端网络

一开始怀疑公司网络,后来用户换手机热点,依旧不通。同时本机连 GitHub 的 SSH 双向 banner 都正常。

客户端网络排除。

误判三:安全组出方向规则

查安全组出方向,发现只有一条 UDP 放行规则,没有 TCP。看起来很像元凶,于是补了一条全放行:

ALL  -1/-1  ->  0.0.0.0/0  Accept

补完依然不通。

后来才想明白:阿里云安全组的出方向默认就是放行的,空的出方向规则不等于拒绝。这条改动没有解决问题。

五、真正的分水岭:内网 vs 公网

前面所有测试都是"从客户端打服务器"。换个思路,在服务器上测自己,把内网和公网分开看:

# 内网方向
ping -c 2 -s 1400 -M do <VPC网关>        # 0% packet loss
ping -c 2 -s 1400 -M do <内网DNS>        # 0% packet loss

# 公网方向
ping -c 2 -s 56   -M do 223.5.5.5        # 0% packet loss(很小的时候能过)
ping -c 2 -s 200  -M do 223.5.5.5        # 100% packet loss
ping -c 2 -s 1400 -M do 223.5.5.5        # 100% packet loss

整理一下:

目标路径 56 字节 200 字节 1400 字节
VPC 内网 ✅ 0% 丢 ✅ 0% 丢 ✅ 0% 丢
公网 ✅ 0% 丢 ❌ 100% 丢 ❌ 100% 丢

内网千兆级大包稳稳通过,公网只放行极小的包。

再看服务器自己能不能上网:

$ curl -s -o /dev/null -w "%{size_download}" --max-time 10 https://<任意公网地址>
0

curl -v 会打印 Connected to ... port 443,然后就停住了——TCP 连得上,数据一个字节都拿不回来。DNS 解析倒是正常的(DNS 是小包)。

到这里结论已经很清楚:不是实例的问题,是这台机器的公网出入口被限制了。

六、真凶:账号欠费

顺着"既然是限制而不是故障"这个方向,最后确认:账号欠费。

充值后,同一套测试立刻全部通过:

验证项 欠费时 充值后
公网 ping 56B 部分通 ✅ 0% 丢
公网 ping 1400B ❌ 100% 丢 ✅ 0% 丢
HTTP 下载 0 字节 ✅ 239B / 0.022s
HTTPS 下载 0 字节 ✅ 239B / 0.127s
SSH banner 3/3 偶尔 ✅ 3/3
那个 1280 字节 KEXINIT 重传 7 次全丢 ✅ 正常 ACK

抓包对比最有说服力——充值前后,同一握手的同一跳:

充值前:server → client [P.] length 1280   ← 连续重传 7 次,客户端一个都没收到
充值后:server → client [P.] length 1280   ← 正常 ACK,握手继续

阿里云欠费的实际行为

这一点值得单独强调,因为它太反直觉了:

账号欠费时,实例继续 Running、sshd 正常、VPC 内网完全可用,但公网出入流量被切断。

所以表现出来就是:

  • 控制台看实例是健康的
  • 端口探测能连上(TCP 握手是双向小包)
  • 但任何需要正常数据交换的协议(SSH、TLS、HTTP)全部失败
  • 从任何客户端、任何网络都连不上

它看起来像网络故障,实际上是一个计费状态。

七、为什么这么难查

复盘一下,主要是这几个因素叠加:

  1. 实例状态是"正常的" —— 所有常规健康检查都通过,不会让人往欠费想。
  2. 端口是通的 —— nc、telnet 都能连上,容易停留在"网络没问题"。
  3. 报错是 banner exchange 超时 —— 既像网络问题,又像服务问题,两边都不像。
  4. 换网络也一样 —— 排除了客户端后,很容易往服务端或中间链路死磕。
  5. 症状是"部分通" —— 小包能过制造了"偶尔是通的"的错觉。

另外一个教训:查余额的时机也很关键。我在用户充值之后才查,看到余额正常,于是把欠费这条正确方向给排除了,多绕了一大圈。

八、可复用的排查清单

下次遇到"SSH 连不上",按这个顺序走,可以少走弯路:

第 0 步:先看账单(是的,放第一位)

# 有权限的话直接查余额,或者去控制台看费用中心

第 1 步:分层确认

# 1) 端口通不通
nc -zv <IP> 22

# 2) sshd 活着吗(不经过 ssh 客户端)
python -c "import socket;s=socket.create_connection(('<IP>',22));print(s.recv(64))"

# 3) 是不是被打爆
grep -c "Failed password" /var/log/secure
ss -tn state established '( sport = :22 )' | wc -l
sshd -T | grep -i maxstartups

第 2 步:区分"服务问题"还是"网络问题"

在同一台机器上测一个完全无关的服务(443、80、任意监听端口)。如果两个服务症状一致,就是网络问题。

第 3 步:区分内网和公网

在服务器上分别 ping 内网网关和公网地址,用不同包长:

for sz in 56 200 1400; do
  ping -c 2 -s $sz -M do <内网网关>
  ping -c 2 -s $sz -M do 223.5.5.5
done

内网正常、公网异常 → 限制出在公网出口,而不是操作系统。

第 4 步:抓包

tcpdump -i eth0 -n -tttt -c 40 'tcp and host <客户端IP>'

看的是"谁在等谁说话",以及重传集中在哪个包。

第 5 步:排除完再看账单和实例状态

  • 账号是否欠费
  • 是否被 DDoS 黑洞
  • 公网 IP / EIP 是否正常绑定

九、几个实用的收尾建议

1. 开余额预警

这次业务中断了十几个小时。费用中心的余额预警阈值建议设成"至少能撑一周"的金额,别等停了才发现。

2. 一定要有一条不依赖公网的应急通道

这次能定位,靠的是能进机器。公网 SSH 已经废了,但阿里云的云助手 / Workbench CLI 走的是阿里云内部网络:

# 非交互执行
workbench exec -i <实例ID> -c "df -h; free -m"

# 交互式登录
workbench connect -i <实例ID>

欠费时公网被切断,这条通道依然可用。 强烈建议提前装好并验证一次,而不是等出事再配。

顺带一提,云助手(RunCommand)也是同理——它走控制面,不占公网数据面,是很好的第二通道。

3. 别只依赖 22 端口做管理入口

如果有条件,管理入口应该至少满足两条:不暴露在公网、以及有带外通道(VNC、会话管理、跳板机)。

十、小结

一句话概括这次故障:

"实例活着、端口通、但握手聊不下去",在云环境下要优先怀疑限制类状态(欠费、限流、黑洞),而不是故障类问题。

故障排查最容易犯的错,是默认"坏的"——坏了所以连不上。但云平台上还有一大类状态是"好的,但不给你用"。这类状态往往:

  • 健康检查全绿
  • 端口探测全通
  • 但业务流量全废

当你把服务、网络、MTU、防火墙、客户端全部排查完,症状仍然"部分通、部分不通"时,回头看账单吧。

posted @ 2026-11-17 10:31  梧桐_Han  阅读(15)  评论(0)    收藏  举报