RTL2congestion

KO | EN

gitlite — search

#hacktoberfest #react #ai #typescript #llm #golang #go #machine-learning #linux #nodejs #cli #vue #security #ios

(★ 10)

RTL Congestion Prediction via LLM Embeddings

RTL2congestion 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# RTL Congestion Prediction via LLM Embeddings

基于大语言模型（Qwen3-8B）提取 Verilog RTL 代码的语义嵌入，通过 MLP 神经网络预测布局阶段的拥塞（GPL Congestion）。

## 技术亮点

1. **按行提取嵌入再聚合**：逐行通过 LLM 编码后取等权重平均，防止长行主导，保留细粒度代码结构信息
2. **MLP 网络结构**：4096→1024→128→2，配合 BatchNorm + Dropout，相比线性探针 AUC 提升 2.7%
3. **不平衡加权损失**：CrossEntropyLoss(weight=[0.625, 2.5])，缓解正负样本 3.6:1 的不平衡问题，灵敏度提升 5.8%

## 实验结果

消融实验（50 epochs, test set 229 samples）：

| 模型 | AUC | F1 (拥塞) | Precision | TN | FP | FN | TP |
|------|-----|-----------|-----------|----|----|----|-----|
| **byline+MLP+wtd (本文)** | **0.9914** | 0.898 | 0.917 | 175 | 4 | 6 | 44 |
| whole+MLP+wtd | 0.9895 | 0.891 | 0.882 | 173 | 6 | 5 | 45 |
| byline+MLP+unwtd | 0.9880 | 0.826 | 0.905 | 175 | 4 | 12 | 38 |
| byline+Linear+wtd | 0.9651 | 0.817 | 0.723 | 161 | 18 | 3 | 47 |

## 目录结构

```
congestion_release/
├── README.md
├── data/
│   ├── verilog_source/                 # 1159个Verilog模块（nangate45nm，全部设计）
│   │   ├── aes/                       #   每个design目录下直接放 .v 文件
│   │   │   └── aes_cipher_top.v
│   │   ├── tinyRocket/
│   │   │   ├── ALU.v
│   │   │   └── ...
│   │   └── ...（30个design目录）
│   ├── openroad_runs/                 # OpenROAD完整运行结果（nangate45nm，29个design）
│   │   ├── aes/                       #   每个模块目录下含：
│   │   │   └── aes_cipher_top/
│   │   │       ├── synth.v            #   综合后网表
│   │   │       ├── synth.ys           #   Yosys综合脚本
│   │   │       ├── constraint.sdc     #   时序约束
│   │   │       ├── run_gpl.tcl        #   OpenROAD GPL运行脚本
│   │   ���       └── gpl.log            #   GPL日志（含拥塞结果）
│   │   └── ...（29个design目录）
│   ├── openroad_results/
│   │   └── gcell_summary_full.csv     # 汇总CSV（status、拥塞指标等）
│   └── embeddings/
│       ├── hidden_states_byline.npz    # byline嵌入（1159个，4096维）
│       ├── hidden_states_whole.npz     # whole嵌入（1159个，4096维）
│       ├── nangate45_congestion_byline.npz  # 训练集
│       └── nangate45_congestion_whole.npz   # 训练集
├── scripts/
│   ├── generate_byline.py             # 生成byline嵌入
│   ├── generate_whole.py              # 生成whole嵌入
│   ├── build_dataset.py               # 构建训练集
│   ├── train_main.py                  # 主实验
│   ├── train_ablation.py             # 消融实验
│   └── run_pipeline.sh               # 一键运行
└── results/                           # 输出目录
```

## 数据说明

### Verilog 源文件

共 1159 个模块，所有设计均基于 **Nangate 45nm** 工艺节点，覆盖 30 个开源设计：tinyRocket, aes, ariane, megaboom, swerv_wrapper, ibex, black_parrot, bp_quad, coyote, ethmac 等。每个模块一个 `.v` 文件，按 `design/module.v` 组织。

### OpenROAD 运行结果

每个模块目录下包含完整的 OpenROAD 运行文件：

- `synth.v` — Yosys 综合后的 Verilog 网表
- `synth.ys` — Yosys 综合脚本
- `constraint.sdc` — OpenSTA 时序约束
- `run_gpl.tcl` — OpenROAD GPL 阶段脚本
- `gpl.log` — GPL 运行日志（含拥塞数值和 SUCCESS/GPL_FAIL 状态）

### GPL 标签

`data/openroad_results/gcell_summary_full.csv` 汇总了所有模块的 GPL 结果，关键字段：

| 字段 | 说明 |
|------|------|
| design | 设计名称 |
| module | 模块名称 |
| status | GPL 结果：SUCCESS / GPL_FAIL / SYNTH_FAIL |
| gpl_weighted_congestion | 加权拥塞值 |
| num_cells | 单元数 |
| utilization | 利用率 |

标签规则：`GPL_FAIL → 1（拥塞）`，`SUCCESS → 0（不拥塞）`，`SYNTH_FAIL → 排除（合成失败无法布局）`。

有效样本：1143 条（拥塞 248，不拥塞 895，正例占比 21.7%）。

## 复现指南

### 1. 环境准备

```bash
# 创建 conda 环境
conda create -n congestion python=3.10 -y
conda activate congestion

# 安装 PyTorch（需要 CUDA 12.1+）
conda install pytorch=2.5.1 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖
pip install scikit-learn==1.7.2 scipy==1.15.3 pandas==2.3.3 \
            numpy==2.2.6 matplotlib==3.10.8 seaborn==0.13.2 \
            tqdm==4.67.3 transformers==5.4.0 accelerate
```

**硬件要求：**
- GPU：需要 CUDA 支持，建议 ≥16GB 显存（嵌入生成阶段）
- 训练阶段对显存要求很低（<2GB），CPU 也可跑
- 磁盘：约 530MB

### 2. 下载模型权重

嵌入生成需要 Qwen3-8B 模型：

```bash
git lfs install
git clone https://huggingface.co/Qwen/Qwen3-8B /path/to/Qwen3-8B
```

下载后，修改 `scripts/generate_byline.py` 和 `scripts/generate_whole.py` 中的 `MODEL_PATH`。

**注意**：`data/embeddings/` 中已包含预提取的嵌入，可跳过步骤 3 直接从步骤 4 开始。

### 3. 生成嵌入（可选，已提供预提取结果）

```bash
cd scripts/

# 生成 byline 嵌入（本文方法）
python generate_byline.py

# 生成 whole 嵌入（基线方法）
python generate_whole.py
```

### 4. 构建训练集

```bash
python build_dataset.py
```

### 5. 训练

```bash
# 主实验
python train_main.py

# 消融实验（含主实验 + 3个基线）
python train_ablation.py --all
```

### 6. 一键运行

```bash
cd scripts/
bash run_pipeline.sh
```

## 相关工作

本工作在以下方面与 VeriLoC [[1]](#ref1) 进行了对比：

| | VeriLoC | 本文 |
|---|---------|------|
| 嵌入模型 | CLVerilog | Qwen3-8B |
| 提取方式 | 整文件全局编码 | **按行提取再聚合** |
| 损失函数 | 标准交叉熵 | **加权交叉熵** |
| 网络结构 | 单层线性 | **MLP (4096→1024→128→2)** |

我们的消融实验表明，三项改进缺一不可：MLP结构贡献AUC +2.7%，加权损失使漏检减半（FN 12→6），按行聚合使误报降低37%（FP 18→4）。

## 引用

如果本项目对您有帮助，请引用：

```
@article{rtl_congestion,
  title={RTL Congestion Prediction via LLM Embeddings with Line-level Aggregation},
  ...
}
```

<a name="ref1"></a>\[1\] Hemadri et al., "VeriLoC: Line-of-Code Level Prediction of Hardware Design Quality from Verilog Code," 2025. \[[arXiv:2506.07239](https://arxiv.org/abs/2506.07239)\]\[[GitHub](https://github.com/ML4EDA/VeriLoC)\]

```
@misc{hemadri2025veriloc,
      title={VeriLoC: Line-of-Code Level Prediction of Hardware Design Quality from Verilog Code}, 
      author={Raghu Vamshi Hemadri and Jitendra Bhandari and Andre Nakkab and Johann Knechtel and Badri P Gopalan and Ramesh Narayanaswamy and Ramesh Karri and Siddharth Garg},
      year={2025},
      eprint={2506.07239},
      archivePrefix={arXiv},
      primaryClass={cs.AR},
}
```

RTL2congestion

RTL2congestion 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

RTL2congestion

RTL2congestion 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README