网络问题排查笔记
{Back to Index}  Expand All Details on Page

1. 客户端向服务端发送 SYN 包请求建立 TCP 连接。客户端连接状态变为 SYN_SENT 状态。
2. 服务端收到 SYN 包之后，服务端连接状态变为 SYN_RECV 状态。随后会创建轻量级 request_sock 结构来表示连接信息（里面能唯一确定某个客户端发来的 SYN 的信息），并将这个 request_sock 结构放入 TCP 的半连接队列 SYN_Queue 中，TCP 内核协议栈发送 SYN+ACK 包给客户端。
3. 客户端的 TCP 内核协议栈收到服务端发送过来的 SYN+ACK 后，随即回复 ACK 包给服务端。此时客户端连接状态变为 ESTANLISHED 状态。
4. 服务端收到客户端的 ACK 包之后，从半连接队列中查找是否有代表该客户端连接的轻量级 request_sock 结构，如果有，连接状态变为 ESTABLISHED 状态，随后会从半连接队列 SYN-Queue 中将 request_socket 结构取出移动到全连接队列 ACCEPT-Queue 中。
5. 用户进程的 accpet 系统调用根据监听 Socket 克隆出一个真正的连接 Socket 然后返回。

假设现在有大量的客户端在向服务端发送 SYN 包请求建立连接，但是这些客户端比较坏，在收到服务端的 SYN+ACK 包之后就是不回复 ACK 包给服务端，而服务端一直收不到客户端的 ACK 包，所以就会重传 SYN+ACK 包给客户端，重传次数由内核参数 tcp_synack_retries 限制，默认为 5 次。

5 次的重传时间间隔为 1s , 2s , 4s , 8s , 16s ，总共 31s ，而第 5 次重传的 SYN+ACK 包发出后还要等 32s 才能知道第 5 次也超时了，所以，总共需要 1s + 2s + 4s+ 8s+ 16s + 32s = 63s ，TCP 才会把断开这个连接，并从半连接队列中移除对应的 request_sock 。

当半连接队列溢出之后，再有正常的客户端连接进来之后， 内核协议栈默认情况下就会直接丢弃 SYN 包 ，导致服务端无法处理正常客户端的请求，这就叫做 SYN Flood 攻击。

当服务端的负载比较大并且从全连接队列中 accept 连接处理的比较慢，同时又有大量新的客户端连接上来的时候，就会导致 TCP 全连接队列溢出。

内核参数 net.ipv4.tcp_abort_on_overflow 会影响内核协议栈处理全连接队列溢出的行为。

在默认情况下，当调用 Socket 的 close 方法后 ， close 方法会立即返回 ，剩下的事情会交给内核协议栈处理，
如果此时 Socket 对应的发送缓冲区还有数据待发送，接下来内核协议栈会将 Socket 发送缓冲区的数据发送出去，随后会向对端发送 FIN 包关闭连接。
注意：此时应用程序是无法感知到这些数据是否已经发送到对端的，因为应用程序在调用 close 方法后就立马返回了， 剩下的这些都是内核在替我们完成。接着主动关闭方就进入了 TCP 四次挥手的关闭流程最后进入TIME_WAIT状态。

SO_LINGER 选项会控制调用 close 方法关闭 Socket 的行为。

struct linger {
      int l_onoff;   // linger active
      int l_linger;  // how many seconds to linger for
};

l_onoff

表示是否开启 SO_LINGER 选项。0 表示关闭。默认情况下是关闭的。

int l_linger

如果开启了 SO_LINGER 选项，则该参数表示应用程序调用 close 方法后需要阻塞等待多长时间。单位为秒。

这两个参数的不同组合会影响到 Socket 的关闭行为：

• 主动关闭方在调用 close() 系统调用关闭 Socket 时，内核会检查 Socket 接收缓冲区中是否还有数据未被读取处理，如果有，则直接清空 Socket 接收缓冲区中的未处理数据，并向对端发送 RST 。
• 如果此时 Socket 接收缓冲区中没有未被处理的数据，内核才会走正常的关闭流程，尝试将 Socket 发送缓冲区中的数据发送出去，然后向对端发送 FIN ，走正常的四次挥手关闭流程。

上图中，有两个队列:

syns queue

半连接队列

accept queue

全连接队列

三次握手阶段，当 server 收到 client 的 syn 后，把消息放到 syns queue 中，并回复 syn+ack 给 client ， 当 server 收到 client 的 ack 时，如果这时 accept queue 没满，那就从 syns queue 中 pop 出暂存的信息放入 accept queue 中， 否则按 net.ipv4.tcp_abort_on_overflow 设置的值执行：

• net.ipv4.tcp_abort_on_overflow = 0
  表示如果三次握手第三步的时候 accept queue 满了，则 server 丢弃 client 发过来的 ack 。
• net.ipv4.tcp_abort_on_overflow = 1
  表示第三步的时候如果全连接队列满了，server 发送一个 rst 包给 client ，表示拒绝这个握手过程和这个连接

# netstat -s | grep -i listen
    1 times the listen queue of a socket queue overflowed -> 全连接队列溢出的次数
    1 SYNs to LISTEN sockets dropped -> 半连接队列溢出的次数

# ss -lnt
State       Recv-Q Send-Q                              Local Address:Port                                             Peer Address:Port
LISTEN      0      128                                             *:80                                                          *:*
                   ---
                    |-> 全连接队列 (backlog) 最大为 128
LISTEN      0      5                                               *:48080                                                       *:*
            -
            |-> 全连接队列当前使用了多少
LISTEN      0      128                                             *:4369                                                        *:*
LISTEN      0      128

全连接队列的大小取决于 min(backlog, net.core.somaxconn) 。 其中 backlog 是在 socket 创建的时候传入的，somaxconn 是一个 OS 级别的系统参数。

半连接队列的大小取决于 max(64, net.ipv4.tcp_max_syn_backlog) 。

# cat /proc/sys/net/core/somaxconn
128
cat /proc/sys/net/ipv4/tcp_max_syn_backlog
128

# ss -ant | awk '{print $1}' | sort | uniq -c
     20 CLOSE-WAIT
    233 ESTAB
     26 LISTEN
      1 State -> 这行是 header ，可以忽略
     14 TIME-WAIT