websocket-c10k

KO | EN

gitlite — search

#javascript #python #react #android #machine-learning #rust #windows #awesome #kubernetes #awesome-list #security #mcp #ios #open-source

(★ 18)

使用 netty 实现 websocket 百万长连接, 包含服务端/客户端压测代码

websocket-c10k 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# websocket 百万连接及心跳管理

* [websocket 百万连接及心跳管理](#websocket-百万连接及心跳管理)
  * [概述](#概述)
    * [场景与模型](#场景与模型)
    * [判断指标](#判断指标)
    * [roadmap](#roadmap)
  * [如何使用](#如何使用)
    * [如何优化系统性能](#如何优化系统性能)
    * [实际测试结果图](#实际测试结果图)
  * [常用工具](#常用工具)

## 概述

### 场景与模型

有很多物联网设备通过 websocket 协议连接到服务器, 每个设备有一个唯一的 id (比如mac地址)

### 判断指标

1. 连接数 
2. 连接速率  
3. 过期连接删除速率

### roadmap

1. 单机 100w websocket 长连接
2. 单机 100w websocket 长连接 + 心跳检查, 过期连接删除 (doing... 预计 2021.04.03 前完成) 
    - 思考: 
        1. 通过 tcp 发送心跳包
        2. 通过 udp 发送心跳包
        3. 负载均衡, 多线程处理心跳包 
3. nginx 前置代理/负载均衡 100w websocket 长连接
4. 单机 1000w tcp 连接
5. 单机 1000w websocket 长连接

## 如何使用

1. 打包
    - `mvn clean package -DskipTests`
2. 启动 websocket 服务端
    - `java -jar target/c10k-0.0.1.jar`
3. 启动 websocket 客户端
    - `java -cp target/c10k-0.0.1.jar -Dloader.main=me.giraffetree.websocket.c10k.client.ClientStarter org.springframework.boot.loader.PropertiesLauncher` 
    - 查看参数默认参数: `java -cp target/c10k-0.0.1.jar -Dloader.main=me.giraffetree.websocket.c10k.client.ClientStarter org.springframework.boot.loader.PropertiesLauncher --help`

### 如何优化系统性能

- `vi /etc/sysctl.conf`  修改后使用  `sysctl -p` 生效, 使用 `sysctl -a` 查看当前配置
    - 操作系统可以打开的最大文件数 `fs.file-max=1100000`
    - 单个进程可以打开的最大文件数 `fs.nr_open=1050000`
    - 修改可用端口数 `net.ipv4.ip_local_port_range = 5000 65000`
- `vi /etc/security/limits.conf` 重新打开 bash 即可生效
    - 修改用户进程可以打开的最大文件数 请注意这个最大文件数不要大于 `单个进程可以打开的最大文件数 fs.nr_open`
    - `root soft nofile 1010000`
    - `root hard nofile 1010000`

### 实际测试结果图

- 连接数 
    - 4核16G的server端, 建立 100w websocket 长连接

![](https://raw.githubusercontent.com/giraffe-tree/websocket-c10k/master/docs/img/websocket-c1000k.jpg)

## 常用工具

- dmesg | tail -n 20
    - dmesg用来显示内核环缓冲区（kernel-ring buffer）内容，内核将各种消息存放在这里。
    - 我们可以用来检查系统 tcp 相关的异常
        - 例如发现 `nf_conntrack: table full, dropping packet` 则需要修改 `/etc/sysctl.conf` 中的 `net.netfilter.nf_conntrack_max = 1200000` 进来的连接数超过这个值时，新连接的包会被丢弃。
        - 例如发现 `too many orphaned sockets` 则表示 系统耗光了socket内存 , 需要调整一下tcp socket参数。在tcp_mem三个值分别代表low，pressure，high三个阈值 `vi /etc/sysctl.conf`
            - `net.ipv4.tcp_mem = 600000 800000 943718`  
                - tcp_mem 中的单位是页，1页=4096字节, 由于我的机子是 2核4GB的, 这里最大我设定为3.6G的内存左右
            - `net.ipv4.tcp_rmem = 4096 4096 6291456` 
                - tcp_rmem，tcp_wmem单位是byte，所以最小socket读写缓存是4k。
            - `net.ipv4.tcp_wmem = 4096 4096 6291456`
- `watch "ss -ant | grep ESTAB | wc -l"`
    - 计算 tcp 连接数
- 查看当前 tcp 连接数
    - `netstat -pntl | head -n 10`
    - `netstat -nlt | grep 8090`
-  查看当前最大文件数
    1. `cat /proc/sys/fs/file-max`
    2. `cat /proc/sys/fs/file-nr`
-  查看端口范围
    1. `cat /proc/sys/net/ipv4/ip_local_port_range`

websocket-c10k

websocket-c10k 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

websocket-c10k

websocket-c10k 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README