一次 SSH「连不上」的完整排查:实例活着、端口通,却卡在 banner exchange
AI 生成声明:本文内容由 AI 生成或经 AI 辅助完成,请注意甄别。
一、故障现象
某天开始,连不上云上一台 ECS:
$ ssh root@<实例公网IP>
Connection timed out during banner exchange
Connection to <实例公网IP> port 22 timed out
但奇怪的是,几个"看起来应该相关"的地方都正常:
- 控制台显示实例 Running
- 云监控里 CPU、内存、磁盘都平稳
- 换手机热点、换公司网络,一样连不上
- 但同一个网络连 GitHub 的 SSH 完全正常
这就很反直觉了:如果服务器挂了,实例状态该异常;如果网络不通,端口该连不上;如果密钥错了,报错该是 Permission denied。现在报的是 banner exchange 超时——一种介于"能连"和"连不上"之间的状态。
二、先做最基础的确认
端口到底通不通
$ nc -zv <实例公网IP> 22
Connection to <实例公网IP> 22 port [tcp/ssh] succeeded!
TCP 三次握手是成功的。所以:
- 安全组没有把 22 端口整个封掉
- 实例的网络栈在响应
- 不是"防火墙全拦"这种简单情况
sshd 活着吗
既然 TCP 通,直接裸连读 banner(不经过 ssh 客户端):
import socket
s = socket.create_connection(("<实例公网IP>", 22), timeout=6)
print(s.recv(64))
# b'SSH-2.0-OpenSSH_7.4'
服务器是活的,sshd 正常,还会主动发 banner。
但继续往下走就断了——只要发送客户端 banner,后续的 KEXINIT 就再也收不到。
会不会是被爆破打满连接数
这是公网 22 端口最常见的问题,先查:
$ grep -c "Failed password" /var/log/secure
0
$ ss -tn state established '( sport = :22 )' | wc -l
1
$ sshd -T | grep -i maxstartups
maxstartups 10:30:100
失败密码 0 次,连接数恒为 1,MaxStartups 是默认值没用满。
排除。而且日志里有一类很关键的记录:
sshd[xxxx]: Connection closed by <客户端出口IP> port xxxx [preauth]
sshd[xxxx]: Did not receive identification string from <客户端出口IP>
Did not receive identification string 意思是:sshd 一直在等客户端发 SSH 版本字符串,但没等到。反过来客户端那边报的也是"等你发 banner 没等到"。
双方都在等对方说话。 这说明数据包根本没在双向流动。
三、抓包看到真相
在服务器上抓包,同时从本地发起连接:
# 服务器侧
tcpdump -i eth0 -n -tttt -c 40 'tcp and host <客户端出口IP>'
# 本地侧(另一个窗口)
ssh root@<实例公网IP>
抓到的内容非常清晰:
client → server [S] ← TCP 握手开始
server → client [S.] ← 握手正常完成
client → server [P.] length 22 ← 客户端 banner,22 字节,到达了
server → client [.] ack 23 ← 服务端确认收到
server → client [P.] length 21 ← 服务端 banner,21 字节,也到了
client → server [P.] length 1672 ← 客户端 KEXINIT
server → client [P.] length 1280 ← 服务端 KEXINIT
server → client [P.] length 1280 ← 重传 1
server → client [P.] length 1280 ← 重传 2
server → client [P.] length 1280 ← 重传 3
... ← 一路重传到第 7 次,跨度 14 秒
规律一目了然:
- 20 字节级别的控制包、banner:双向畅通
- 千字节级别的 KEXINIT:服务器连发 7 次,客户端一个没收到
SSH 的 KEXINIT 里携带密钥交换算法列表,通常在 1KB 上下。这个包过不去,握手就永远停在 banner exchange。
换个服务交叉验证
关键一步:找同一台机器上完全无关的服务做对照。
# 443 端口 TLS 握手
TCP 建连成功(19ms)→ TLS 握手超时
TLS 握手同样需要服务端回 1~3KB 的证书链。
两个完全不同的服务、同样的"小包能过、大包不通",这就把 sshd 彻底排除了——问题在网络上,不在 SSH 服务本身。
四、差点走偏的三个方向
排查过程中有三条路看起来很合理,最后都被证伪,值得记下来。
误判一:MTU 黑洞
"小包能过、大包被丢"是 PMTU 黑洞的教科书症状。于是把网卡 MTU 一档档往下压:
ip link set eth0 mtu 1400 && curl ...
ip link set eth0 mtu 1300 && curl ...
# ... 1200、1100、576、400、256、200
结果:全部 0 字节,毫无变化。 真正的 MTU 问题会在某个阈值处突然恢复,这里不是。
误判二:客户端网络
一开始怀疑公司网络,后来用户换手机热点,依旧不通。同时本机连 GitHub 的 SSH 双向 banner 都正常。
客户端网络排除。
误判三:安全组出方向规则
查安全组出方向,发现只有一条 UDP 放行规则,没有 TCP。看起来很像元凶,于是补了一条全放行:
ALL -1/-1 -> 0.0.0.0/0 Accept
补完依然不通。
后来才想明白:阿里云安全组的出方向默认就是放行的,空的出方向规则不等于拒绝。这条改动没有解决问题。
五、真正的分水岭:内网 vs 公网
前面所有测试都是"从客户端打服务器"。换个思路,在服务器上测自己,把内网和公网分开看:
# 内网方向
ping -c 2 -s 1400 -M do <VPC网关> # 0% packet loss
ping -c 2 -s 1400 -M do <内网DNS> # 0% packet loss
# 公网方向
ping -c 2 -s 56 -M do 223.5.5.5 # 0% packet loss(很小的时候能过)
ping -c 2 -s 200 -M do 223.5.5.5 # 100% packet loss
ping -c 2 -s 1400 -M do 223.5.5.5 # 100% packet loss
整理一下:
| 目标路径 | 56 字节 | 200 字节 | 1400 字节 |
|---|---|---|---|
| VPC 内网 | ✅ 0% 丢 | ✅ 0% 丢 | ✅ 0% 丢 |
| 公网 | ✅ 0% 丢 | ❌ 100% 丢 | ❌ 100% 丢 |
内网千兆级大包稳稳通过,公网只放行极小的包。
再看服务器自己能不能上网:
$ curl -s -o /dev/null -w "%{size_download}" --max-time 10 https://<任意公网地址>
0
curl -v 会打印 Connected to ... port 443,然后就停住了——TCP 连得上,数据一个字节都拿不回来。DNS 解析倒是正常的(DNS 是小包)。
到这里结论已经很清楚:不是实例的问题,是这台机器的公网出入口被限制了。
六、真凶:账号欠费
顺着"既然是限制而不是故障"这个方向,最后确认:账号欠费。
充值后,同一套测试立刻全部通过:
| 验证项 | 欠费时 | 充值后 |
|---|---|---|
| 公网 ping 56B | 部分通 | ✅ 0% 丢 |
| 公网 ping 1400B | ❌ 100% 丢 | ✅ 0% 丢 |
| HTTP 下载 | 0 字节 | ✅ 239B / 0.022s |
| HTTPS 下载 | 0 字节 | ✅ 239B / 0.127s |
| SSH banner | 3/3 偶尔 | ✅ 3/3 |
| 那个 1280 字节 KEXINIT | 重传 7 次全丢 | ✅ 正常 ACK |
抓包对比最有说服力——充值前后,同一握手的同一跳:
充值前:server → client [P.] length 1280 ← 连续重传 7 次,客户端一个都没收到
充值后:server → client [P.] length 1280 ← 正常 ACK,握手继续
阿里云欠费的实际行为
这一点值得单独强调,因为它太反直觉了:
账号欠费时,实例继续 Running、sshd 正常、VPC 内网完全可用,但公网出入流量被切断。
所以表现出来就是:
- 控制台看实例是健康的
- 端口探测能连上(TCP 握手是双向小包)
- 但任何需要正常数据交换的协议(SSH、TLS、HTTP)全部失败
- 从任何客户端、任何网络都连不上
它看起来像网络故障,实际上是一个计费状态。
七、为什么这么难查
复盘一下,主要是这几个因素叠加:
- 实例状态是"正常的" —— 所有常规健康检查都通过,不会让人往欠费想。
- 端口是通的 ——
nc、telnet都能连上,容易停留在"网络没问题"。 - 报错是 banner exchange 超时 —— 既像网络问题,又像服务问题,两边都不像。
- 换网络也一样 —— 排除了客户端后,很容易往服务端或中间链路死磕。
- 症状是"部分通" —— 小包能过制造了"偶尔是通的"的错觉。
另外一个教训:查余额的时机也很关键。我在用户充值之后才查,看到余额正常,于是把欠费这条正确方向给排除了,多绕了一大圈。
八、可复用的排查清单
下次遇到"SSH 连不上",按这个顺序走,可以少走弯路:
第 0 步:先看账单(是的,放第一位)
# 有权限的话直接查余额,或者去控制台看费用中心
第 1 步:分层确认
# 1) 端口通不通
nc -zv <IP> 22
# 2) sshd 活着吗(不经过 ssh 客户端)
python -c "import socket;s=socket.create_connection(('<IP>',22));print(s.recv(64))"
# 3) 是不是被打爆
grep -c "Failed password" /var/log/secure
ss -tn state established '( sport = :22 )' | wc -l
sshd -T | grep -i maxstartups
第 2 步:区分"服务问题"还是"网络问题"
在同一台机器上测一个完全无关的服务(443、80、任意监听端口)。如果两个服务症状一致,就是网络问题。
第 3 步:区分内网和公网
在服务器上分别 ping 内网网关和公网地址,用不同包长:
for sz in 56 200 1400; do
ping -c 2 -s $sz -M do <内网网关>
ping -c 2 -s $sz -M do 223.5.5.5
done
内网正常、公网异常 → 限制出在公网出口,而不是操作系统。
第 4 步:抓包
tcpdump -i eth0 -n -tttt -c 40 'tcp and host <客户端IP>'
看的是"谁在等谁说话",以及重传集中在哪个包。
第 5 步:排除完再看账单和实例状态
- 账号是否欠费
- 是否被 DDoS 黑洞
- 公网 IP / EIP 是否正常绑定
九、几个实用的收尾建议
1. 开余额预警
这次业务中断了十几个小时。费用中心的余额预警阈值建议设成"至少能撑一周"的金额,别等停了才发现。
2. 一定要有一条不依赖公网的应急通道
这次能定位,靠的是能进机器。公网 SSH 已经废了,但阿里云的云助手 / Workbench CLI 走的是阿里云内部网络:
# 非交互执行
workbench exec -i <实例ID> -c "df -h; free -m"
# 交互式登录
workbench connect -i <实例ID>
欠费时公网被切断,这条通道依然可用。 强烈建议提前装好并验证一次,而不是等出事再配。
顺带一提,云助手(RunCommand)也是同理——它走控制面,不占公网数据面,是很好的第二通道。
3. 别只依赖 22 端口做管理入口
如果有条件,管理入口应该至少满足两条:不暴露在公网、以及有带外通道(VNC、会话管理、跳板机)。
十、小结
一句话概括这次故障:
"实例活着、端口通、但握手聊不下去",在云环境下要优先怀疑限制类状态(欠费、限流、黑洞),而不是故障类问题。
故障排查最容易犯的错,是默认"坏的"——坏了所以连不上。但云平台上还有一大类状态是"好的,但不给你用"。这类状态往往:
- 健康检查全绿
- 端口探测全通
- 但业务流量全废
当你把服务、网络、MTU、防火墙、客户端全部排查完,症状仍然"部分通、部分不通"时,回头看账单吧。

浙公网安备 33010602011771号