Collision-Avoidance-with-DRL

KO | EN

gitlite — search

#typescript #ai-agents #ai #dsh-plugin #deepseek-harness #open-source #claude-code #codex #cli #developer-tools #react #windows

Collision-Avoidance-with-DRL

★ 89 Open GitHub ↗

利用深度强化学习的方法实现多智能体间离散无交流的障碍避免。其中强化学习算法训练模型所需的数据集由最优互惠碰撞避免(Optimal Reciprocal Collision Avoidance， ORCA)算法生成。

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Collision-Avoidance-with-DRL

## 摘要
利用深度强化学习的方法实现多智能体间离散无交流的障碍避免。其中强化学习算法训练模型所需的数据集由最优互惠碰撞避免(Optimal Reciprocal Collision Avoidance， ORCA)算法生成。

## 基本原理及代码使用方式
### 1. 生成训练数据集
利用[ORCA](http://www.meltycriss.com/2017/01/14/paper-orca/)算法生成轨迹数据集。ORCA是经典的分布式底层避障算法，只要每个运动体都采用ORCA算法来进行避障，那么它们之间无需通信，即可分布式的求出每一个运动体的安全速度，而这个速度能确保运动体之间不发生碰撞。也就是说，某一个运动体在自身速度和其他运动体的速度已知的情况下，将在未来 δ 时间内有可能发生碰撞的速度完全排除在外，得到v(ORCA)速度集合,然后在其中选择一个与自身的最优速度最接近的速度

![](https://latex.codecogs.com/gif.latex?v_{new}&space;=&space;argmin&space;||v&space;-&space;v_{opt}||)

其中v是v(ORCA)速度集合中的元素。

代码位于ORCA文件夹。

运行环境：win10+vs2017+openGL库。

### 2. ORCA算法运行及可视化
运行main.cpp即可生成各运动体的轨迹坐标集，并实现避障过程的可视化，ORCA算法可视化效果如下

**Visualization Video**

### 3. 训练模型方法
CADRL算法，利用神经网络来估计状态值函数，将连续的动作离散化为35个可选的动作空间，通过最大化即时奖励与下一状态价值的和，来选取下一个动作。CADRL引入了价值网络（value network），该价值网络利用agent自身状态与其相邻agent的联合状态来训练模型。CADRL包含两部分：a)Deep V-Learning训练模型; b)CADRL利用训练好的模型进行防碰撞路径规划。

**奖励**
        
在两个智能体防碰撞路径规划情景下，奖励函数设计成二者间距离越远奖励越大，到达目的地奖励为1，碰撞奖励为-0.25，其他情况根据二者间距小于安全距离的程度在（-0.2，-0.1）的范围内定义。

**Deep V-Learning算法**
    
算法输入：ORCA生成的轨迹数据集集  
算法输出：value network

首先，将输入的轨迹数据集处理成“状态-价值”对，初始化value network，并将其复制一份；然后在每一次迭代训练中利用CADRL算法来最大化 即时奖励与下一个状态的价值和（此时利用的是初始化的value network的复制版本）得到下一个状态值，然后利用新的状态值更新value network，最后输出经过训练的value network。
  
**CADRL算法**

算法输入：value network  
算法输出：最大化即时奖励与下一状态所选择的动作，根据所选择的动作生成下一时刻状态。

首先进行速度滤波（便于后面计算中包含的求积分运算），然后用估计的动作计算下一个近似状态，计算奖励，利用ε-贪心算法在动作空间中选择动作最大化即时奖励与下一状态 。
  
### 4.CADRL算法运行
运行环境：Ubuntu16.04+Python3.7+pycharm+Pytorch。

进入CADRL-master文件夹

**训练模型**

利用GPU训练模型：

```
python train.py --config=configs/model.config --gpu
```

利用CPU训练模型

```
python train.py --config=configs/model.config
```
                   
利用matplotlib.pyplot实现训练成果的可视化，运行方式

```
python visualize.py
```

## 多智能体无交流避障仿真视频
vedio_1             | vedio_2
:-------------------------:|:-------------------------:
<img src="https://i.imgur.com/vrWsxPM.gif" width="400" />|<img src="https://i.imgur.com/6gjT0nG.gif" width="400" />

Collision-Avoidance-with-DRL

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README