YYChat

KO | EN

gitlite — search

#javascript #python #hacktoberfest #react #ai #typescript #llm #go #golang #android #machine-learning #rust #deep-learning #linux

★ 11 Open GitHub ↗

本项目是一个完整的知识图谱自动化构建与智能问答系统，主要解决从大量非结构化文本中提取结构化知识，并基于知识图谱提供精准问答的问题。

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# 基于原始文本的知识图谱构建与问答系统

> 一个端到端的智能系统，能够从非结构化文本中自动构建知识图谱，并提供基于知识图谱增强的智能问答服务。

---

## 📖 项目简介

本项目是一个完整的知识图谱自动化构建与智能问答系统，主要解决从大量非结构化文本中提取结构化知识，并基于知识图谱提供精准问答的问题。

### 系统核心功能

#### 1. **自动化知识图谱构建** 🔨
- **智能信息抽取**：使用先进的信息抽取模型（UIE + SPN4RE）从原始文本中自动识别实体和关系
- **三元组生成**：将非结构化文本转换为结构化的知识三元组（实体1-关系-实体2）
- **自动优化过滤**：通过BERT分词器验证实体有效性，自动过滤错误抽取结果
- **迭代式扩展**：采用训练-预测-扩展的迭代机制，持续优化和扩充知识图谱
- **收敛检测**：自动检测图谱扩展率，达到收敛条件时停止迭代

#### 2. **知识增强的智能问答** 💬
- **实体识别**：自动识别用户问题中的关键实体（支持人物、地点、组织、事件等多种类型）
- **图谱查询**：从构建的知识图谱中检索与问题相关的三元组信息
- **多源知识融合**：整合知识图谱、维基百科、相关图片等多种信息源
- **智能回答生成**：使用ChatGLM大语言模型，基于检索到的知识生成准确、流畅的答案
- **流式对话**：支持实时流式输出，提供更好的交互体验

#### 3. **知识图谱可视化** 📊
- **图谱展示**：直观展示实体节点和关系边的图谱结构
- **交互式浏览**：支持节点搜索、关系查看等交互功能
- **Web界面**：基于Vue.js的现代化前端界面，操作简单友好

---

## 💡 系统价值与应用场景

### 核心价值
1. **降低知识整理成本**：自动从海量文本中提取结构化知识，无需人工标注
2. **提升问答准确性**：结合知识图谱和大模型，减少幻觉，提供有据可查的答案
3. **领域知识沉淀**：将碎片化的文本知识转化为可查询、可扩展的知识库
4. **持续优化能力**：通过迭代机制不断完善知识质量

### 适用场景
- **企业知识管理**：从公司文档、报告中构建企业知识图谱，提供智能问答助手
- **学术研究辅助**：从学术论文中抽取领域知识，辅助文献综述和知识发现
- **客服智能化**：基于产品文档和FAQ构建知识库，提供自动客服问答
- **教育领域**：从教材、课件中构建学科知识图谱，辅助学习和答疑
- **医疗健康**：从医学文献中提取疾病、症状、治疗等关系，辅助临床决策
- **法律咨询**：从法律条文和案例中构建法律知识图谱，提供智能法律咨询

### 与传统方法的对比

| 对比维度 | 传统方法 | 本系统 |
|---------|---------|--------|
| 知识抽取 | 人工标注+规则匹配 | 深度学习自动抽取 |
| 图谱构建 | 周期长、成本高 | 自动化、迭代优化 |
| 知识更新 | 需要重新标注训练 | 增量学习、持续扩展 |
| 问答质量 | 依赖规则库完整度 | 知识图谱+大模型融合 |
| 适用性 | 固定领域 | 可快速迁移至新领域 |

---

## 🚀 快速开始

### 环境要求

#### 硬件要求
- **GPU**：推荐使用NVIDIA GPU（至少8GB显存）用于模型训练和推理
- **内存**：建议16GB以上
- **存储**：至少10GB可用空间（用于存储模型和数据）

#### 软件环境
| 组件 | 版本要求 | 说明 |
|------|---------|------|
| **操作系统** | Linux / Windows / macOS | 推荐Ubuntu 18.04+ |
| **Python** | 3.7 - 3.8 | 推荐3.8.16 |
| **CUDA** | 10.2+ | GPU加速必需 |
| **Node.js** | 14.0+ | 前端开发环境 |
| **npm** | 6.0+ | 包管理工具 |

---

### 依赖安装

#### 1. 克隆项目
```bash
git clone https://github.com/Sunny-Xu318/YYChat.git
cd YYChat
```

#### 2. 安装Python依赖

**方法一：使用pip安装（推荐）**
```bash
# 创建虚拟环境（可选但推荐）
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

# 安装依赖
pip install -r requirements.txt
```

**方法二：使用conda安装**
```bash
conda create -n kg python=3.8
conda activate kg
pip install -r requirements.txt
```

**核心依赖说明：**
- `torch==1.11.0`: PyTorch深度学习框架
- `paddlepaddle-gpu==2.3.2`: 百度飞桨框架（支持GPU）
- `paddlenlp==2.5.1`: PaddleNLP工具（提供UIE模型）
- `transformers==2.6.0`: Hugging Face Transformers（BERT等预训练模型）
- `flask==2.3.0`: Web后端框架
- `wikipedia==1.4.0`: 维基百科API

#### 3. 安装前端依赖
```bash
cd chat-kg
npm install
cd ..
```

#### 4. 下载预训练模型

**下载ChatGLM-6B模型（用于对话生成）：**
```bash
# 方法一：使用git lfs
git lfs install
git clone https://huggingface.co/THUDM/chatglm-6b

# 方法二：从国内镜像下载
git clone https://www.modelscope.cn/ZhipuAI/chatglm-6b.git
```

**配置模型路径：**
```bash
# 设置环境变量（Linux/Mac）
export CHATGLM_MODEL_PATH=/path/to/chatglm-6b

# 或编辑 server/app/utils/chat_glm.py 中的 model_path
```

**BERT预训练模型：**
系统会自动下载 `bert-base-chinese`，如需使用本地模型，修改 `modules/knowledge_graph_builder.py` 中的 `model_name_or_path` 参数。

---

### 系统启动

本系统包含三个主要部分：**知识图谱构建**、**后端服务**、**前端界面**

#### 第一步：构建知识图谱 🔨

**1. 准备原始数据**

将待处理的文本放入 `data/raw_data.txt` 文件中。文本格式无特殊要求，支持：
- 新闻文章
- 技术文档
- 学术论文
- 企业报告
- 任何领域的中文文本

**示例文本格式：**
```text
2023年3月15日，某公司发生了一起安全事故。事故原因是设备老化导致的。
工作人员小李负责处理此次事故，采取了紧急措施。
```

**2. 运行知识图谱构建**

```bash
# 首次构建（完整流程）
python main.py --project project_v1 --gpu 0

# 从checkpoint恢复（如果中断）
python main.py --resume data/project_v1/history/20230326-205422_iter_v0.json --gpu 0
```

**参数说明：**
- `--project`: 项目名称，数据将保存在 `data/{project_name}/` 目录
- `--gpu`: 指定GPU编号（如 0, 1）
- `--resume`: 从保存的checkpoint恢复训练

**构建流程说明：**
1. **文本预处理**：切分句子为480字以内
2. **UIE信息抽取**：使用PaddleNLP的UIE模型提取实体和关系
3. **自动过滤**：使用BERT tokenizer验证实体有效性
4. **迭代训练**：
   - 训练SPN4RE关系抽取模型
   - 在原文本上预测新关系
   - 扩展知识图谱
   - 重复直到收敛（扩展率<1%）或达到最大迭代次数

**预计耗时：**
- UIE抽取：根据文本量，约1000条/分钟
- 每轮迭代训练：10-30分钟（取决于数据量和GPU性能）
- 完整流程：2-5小时（中小规模数据集）

**输出文件：**
```
data/project_v1/
├── base.json                    # UIE抽取的原始三元组
├── base_filtered.json           # 过滤后的三元组
├── base_refined.json            # 人工筛选后的三元组（快速模式自动生成）
├── iteration_v0/                # 第一轮迭代结果
│   ├── train.json              # 训练数据
│   ├── test.json               # 测试数据
│   ├── valid.json              # 验证数据
│   ├── prediction.json         # 模型预测结果
│   └── knowledge_graph.json    # 扩展后的知识图谱
├── iteration_v1/                # 第二轮迭代
└── history/                     # checkpoint保存目录
```

#### 第二步：启动后端服务 🔧

**1. 准备知识图谱数据**

将构建好的知识图谱复制到服务器数据目录：
```bash
# 选择最终迭代版本的知识图谱
cp data/project_v1/iteration_v2/knowledge_graph.json server/data/data.json
```

**2. 启动Flask后端**

```bash
cd server
python main.py
```

后端服务将在 `http://0.0.0.0:8000` 启动

**后端功能：**
- `/chat`: 聊天问答接口（POST）
- `/graph`: 知识图谱数据接口（GET）
- 自动加载ChatGLM模型（首次启动较慢）
- 集成NER实体识别
- 集成维基百科搜索
- 集成图片搜索

**无GPU模式：**
如果没有GPU或不需要ChatGLM对话功能，系统会自动降级为纯知识图谱查询模式。

#### 第三步：启动前端界面 🎨

**开发模式：**
```bash
cd chat-kg
npm run dev
```
访问 `http://localhost:5173`

**生产模式：**
```bash
cd chat-kg
npm run build      # 构建生产版本
npm run preview    # 预览生产版本
```

**部署到服务器：**
```bash
npm run server  # 使用 --host 参数，允许外部访问
```

#### 第四步：使用系统 🎉

1. **打开浏览器访问** `http://localhost:5173`

2. **聊天问答**（默认界面）：
   - 在输入框输入问题
   - 系统会自动识别实体、查询图谱、搜索维基
   - ChatGLM生成回答（附带参考资料和相关图片）

3. **图谱可视化**：
   - 点击导航切换到"知识图谱"页面
   - 查看完整的实体关系网络
   - 搜索特定实体和关系

---

### 系统架构图

```
┌─────────────────────────────────────────────────────┐
│                    前端 (Vue.js)                     │
│  ┌──────────────┐            ┌──────────────┐      │
│  │  聊天界面    │            │  图谱可视化  │      │
│  └──────────────┘            └──────────────┘      │
└────────────────────┬────────────────────────────────┘
                     │ HTTP
┌────────────────────▼────────────────────────────────┐
│                 后端 (Flask)                         │
│  ┌─────────┐  ┌──────────┐  ┌──────────────┐      │
│  │  NER    │  │  图谱查询│  │  Wiki搜索    │      │
│  └─────────┘  └──────────┘  └──────────────┘      │
│              ┌──────────────┐                       │
│              │  ChatGLM     │                       │
│              └──────────────┘                       │
└────────────────────┬────────────────────────────────┘
                     │
┌────────────────────▼────────────────────────────────┐
│              知识图谱构建 (main.py)                  │
│  ┌──────────┐  ┌──────────┐  ┌──────────────┐      │
│  │ UIE抽取  │→│ SPN4RE   │→│  迭代扩展    │      │
│  └──────────┘  └──────────┘  └──────────────┘      │
└─────────────────────────────────────────────────────┘
```

---

## 🔄 领域迁移指南

本系统具有很强的**领域可迁移性**，可快速适配到不同行业和领域。以下以**法律领域**为例，详细说明如何将系统迁移到新领域。

### 迁移步骤总览

```
1. 领域调研 → 2. Schema设计 → 3. 数据准备 → 4. 模型训练 → 5. 效果评估
```

---

### Step 1: 领域调研与实体关系分析

在迁移到新领域前，需要先了解该领域的知识特点：

**法律领域示例：**

#### 核心实体类型
| 实体类型 | 说明 | 示例 |
|---------|------|------|
| 法律法规 | 各类法律条文、法规 | 《民法典》《刑法》 |
| 案件 | 具体的法律案件 | 张三诉李四合同纠纷案 |
| 当事人 | 原告、被告、证人等 | 原告张三、被告李四 |
| 法律概念 | 法律术语和概念 | 合同诈骗、无效合同 |
| 机构 | 法院、检察院、律所 | 最高人民法院 |
| 法律行为 | 起诉、判决、上诉等 | 一审判决、二审上诉 |
| 刑罚/处罚 | 判决结果 | 有期徒刑三年 |
| 法律条款 | 具体的法律条文 | 《刑法第234条》 |

#### 常见关系类型
- **法律法规 相关关系**：规定、修订、废止、引用、参考
- **案件 相关关系**：涉及罪名、适用法律、判决结果、涉案金额、发生时间、审理法院
- **当事人 相关关系**：原告、被告、代理律师、证人、受害人、涉案人
- **法律行为 相关关系**：起诉时间、判决时间、判决机构、判决依据、上诉理由
- **法律概念 相关关系**：定义、构成要件、法律后果、相关条款

---

### Step 2: 定制Schema（核心步骤）

Schema定义了系统能够识别的**实体类型**和**关系类型**，是领域迁移的关键。

#### Schema文件位置
```
data/schema/schema_v{version}.py
```

#### Schema结构说明

Schema是一个Python字典，格式如下：
```python
schema = {
    "实体类型1": [
        "关系类型1",
        "关系类型2",
        "关系类型3",
        ...
    ],
    "实体类型2": [
        "关系类型1",
        "关系类型2",
        ...
    ],
    ...
}
```

#### 法律领域Schema示例

创建 `data/schema/schema_legal.py`：

```python
schema = {
    "法律法规": [
        "制定机关",
        "制定时间",
        "实施时间",
        "修订时间",
        "废止时间",
        "适用范围",
        "法律位阶",
        "相关法规",
        "引用条款",
        "法律效力",
        "立法目的",
        "规范对象",
        "法律责任",
    ],
    "案件": [
        "案件类型",        # 民事、刑事、行政
        "案号",
        "涉案金额",
        "发生时间",
        "发生地点",
        "审理法院",
        "审理时间",
        "审理结果",
        "适用法律",
        "涉及罪名",
        "案件性质",
        "争议焦点",
        "证据材料",
        "法律依据",
        "判决结果",
        "上诉情况",
        "执行情况",
    ],
    "当事人": [
        "角色",            # 原告、被告、证人
        "代理律师",
        "所属机构",
        "诉讼请求",
        "答辩意见",
        "承担责任",
        "赔偿金额",
        "刑期",
        "证言内容",
        "涉案行为",
    ],
    "法律概念": [
        "定义",
        "法律特征",
        "构成要件",
        "法律后果",
        "相关条款",
        "适用情形",
        "排除情形",
        "司法解释",
        "典型案例",
        "理论依据",
    ],
    "机构": [
        "机构类型",        # 法院、检察院、律所
        "管辖范围",
        "所在地",
        "上级机构",
        "下级机构",
        "职能权限",
        "成立时间",
        "负责人",
        "联系方式",
    ],
    "法律条款": [
        "所属法律",
        "条款内容",
        "适用范围",
        "法律责任",
        "司法解释",
        "修订历史",
        "相关条款",
        "典型案例",
    ],
    "刑罚": [
        "刑期",
        "罚金",
        "缓刑",
        "执行方式",
        "减刑情况",
        "附加刑",
        "执行地点",
    ],
}
```

#### Schema设计原则

1. **实体类型设计**：
   - 选择领域内最重要的5-15个实体类型
   - 实体名称应清晰、无歧义
   - 覆盖领域核心概念

2. **关系类型设计**：
   - 每个实体类型配置10-30个常见关系
   - 关系名称应简短（2-6个字）
   - 涵盖"是什么、做什么、在哪里、什么时候、为什么、怎么样"等维度

3. **参考现有文本**：
   - 从实际文本中提取高频关系
   - 参考领域知识图谱标准（如有）
   - 咨询领域专家

#### 修改模块引用

修改 `modules/prepare/process.py` 中的schema导入：

```python
# 原来：from data.schema import schema_v4
# 改为：
from data.schema import schema_legal

def paddle_relation_ie(content):
    relation_ie = Taskflow("information_extraction", 
                          schema=schema_legal.schema,  # 使用新schema
                          batch_size=2)
    return relation_ie(content)
```

---

### Step 3: 数据准备建议

#### 数据质量要求

| 维度 | 要求 | 说明 |
|------|------|------|
| **数据量** | 最少5000句，推荐1万句以上 | 数据越多，效果越好 |
| **数据质量** | 语句通顺，信息完整 | 避免大量错别字和乱码 |
| **领域相关性** | 紧密相关 | 专业文本优于通用文本 |
| **多样性** | 覆盖多种场景 | 避免单一来源 |

#### 不同领域的数据准备要点

**📖 法律领域**
```text
数据来源：
- 裁判文书（中国裁判文书网）
- 法律法规文本
- 法律咨询问答
- 案例分析文章

注意事项：
- 保留案号、当事人、法律条款等关键信息
- 保持判决书的结构完整性
- 注意隐私脱敏（如需公开发布）
```

**🏥 医疗领域**
```text
数据来源：
- 医学教材和文献
- 疾病诊疗指南
- 医学百科
- 病历记录（需脱敏）

注意事项：
- 保留疾病名称、症状、药物、检查项目等
- 保持医学术语的准确性
- 注意患者隐私保护
```

**💰 金融领域**
```text
数据来源：
- 金融新闻报道
- 公司年报
- 金融政策文件
- 行业研究报告

注意事项：
- 保留公司名称、金融产品、指标数据
- 注意时间信息的准确性
- 敏感信息需脱敏
```

**🏢 企业领域**
```text
数据来源：
- 公司内部文档
- 会议纪要
- 项目报告
- 制度流程文档

注意事项：
- 保留人名、部门、项目名称
- 保持组织结构信息
- 商业机密需脱敏
```

#### 数据准备流程

**1. 数据收集**
```bash
# 将所有文本合并到一个文件
cat 法律文书1.txt 法律文书2.txt > data/raw_data.txt
```

**2. 数据清洗**
- 删除无关内容（页眉页脚、版权声明等）
- 统一编码为UTF-8
- 繁体字转简体（系统会自动处理）
- 修正明显的错别字

**3. 数据格式**
```text
直接将文本放入 data/raw_data.txt 即可，无需特殊格式：

示例内容：
原告张三诉称，被告李四于2022年5月1日向其借款10万元，约定于同年12月1日归还。
但被告到期未归还借款，故诉至法院，请求判令被告归还借款10万元及利息。
被告李四辩称，确实向原告借款，但已于2022年11月归还5万元，剩余款项因经营困难暂时无法归还。
本院经审理查明，原被告之间确实存在借贷关系...
```

#### 数据量与效果关系

| 数据量 | 预期效果 | 适用场景 |
|--------|---------|---------|
| < 5000句 | 基础可用 | 快速验证、小规模应用 |
| 5000-1万句 | 良好 | 中小企业知识库 |
| 1万-5万句 | 优秀 | 专业领域知识图谱 |
| > 5万句 | 非常好 | 大规模行业应用 |

---

### Step 4: 运行训练与调优

#### 首次运行
```bash
# 使用新的项目名称
python main.py --project project_legal --gpu 0
```

#### 效果评估

在 `data/project_legal/iteration_v0/` 中查看结果：

**评估指标：**
1. **抽取覆盖率**：查看 `knowledge_graph.json`，是否覆盖了主要实体和关系
2. **准确率**：随机抽查50-100条三元组，计算正确率
3. **扩展率**：查看每轮迭代的扩展比例（系统自动输出）

**示例输出：**
```
Done 100 lines
Done 200 lines
...
Start Running Iteration: v0
Current Data Path: data/project_legal/base_refined.json
...
Training completed!
Extend Ratio: 0.15  # 扩展了15%的新知识
```

#### 常见问题与调优

**问题1：抽取结果太少**
- **原因**：Schema定义过于具体，或数据中缺少相关表述
- **解决**：扩展Schema中的关系类型，增加更通用的关系

**问题2：抽取结果准确率低**
- **原因**：数据质量差，或Schema定义不清晰
- **解决**：清洗数据，优化Schema命名，增加数据量

**问题3：迭代收敛太快**
- **原因**：数据多样性不足
- **解决**：增加不同来源的数据

---

### Step 5: 部署应用

完成训练后，按照前面的"系统启动"步骤部署即可：

```bash
# 1. 复制知识图谱
cp data/project_legal/iteration_v2/knowledge_graph.json server/data/data.json

# 2. 启动后端
cd server
python main.py

# 3. 启动前端
cd ../chat-kg
npm run dev
```

现在系统已经适配到法律领域，可以回答法律相关问题了！

---

## 🛠️ 技术栈详解

### 核心技术架构

#### 1. 信息抽取层

**UIE（Universal Information Extraction）**
- **来源**：百度PaddleNLP
- **作用**：通用信息抽取，支持零样本和少样本学习
- **优势**：
  - 无需标注数据即可使用
  - 支持灵活的Schema定义
  - 中文效果优秀
- **论文**：[UIE: Unified Structure Generation for Universal Information Extraction](https://arxiv.org/abs/2203.12277)

**SPN4RE（Set Prediction Networks for Relation Extraction）**
- **来源**：清华大学研究成果
- **作用**：联合实体关系抽取
- **优势**：
  - 同时识别实体和关系
  - 端到端训练
  - 支持复杂关系抽取
- **论文**：[Joint Entity and Relation Extraction with Set Prediction Networks](https://arxiv.org/abs/2011.01675)

#### 2. 深度学习框架

| 技术 | 版本 | 用途 |
|------|------|------|
| **PyTorch** | 1.11.0 | SPN4RE模型训练 |
| **PaddlePaddle** | 2.3.2 | UIE模型推理 |
| **Transformers** | 2.6.0 | 预训练模型加载 |
| **BERT** | bert-base-chinese | 中文语义理解 |

#### 3. 对话生成

**ChatGLM-6B**
- **来源**：清华大学 & 智谱AI
- **特点**：
  - 60亿参数的中文对话模型
  - 支持上下文理解
  - 可本地部署
  - INT4量化后仅需6GB显存
- **仓库**：[THUDM/ChatGLM-6B](https://github.com/THUDM/ChatGLM-6b)

#### 4. 后端技术栈

| 技术 | 版本 | 用途 |
|------|------|------|
| **Flask** | 2.3.0 | Web框架 |
| **Flask-CORS** | 4.0.0 | 跨域支持 |
| **Wikipedia API** | 1.4.0 | 维基百科知识检索 |
| **OpenCC** | 0.1.7 | 繁简转换 |
| **TheFuzz** | 0.19.0 | 模糊匹配 |

#### 5. 前端技术栈

| 技术 | 版本 | 用途 |
|------|------|------|
| **Vue.js** | 3.2.47 | 前端框架 |
| **Vite** | 4.1.4 | 构建工具 |
| **Vue Router** | 4.1.6 | 路由管理 |
| **Ant Design Vue** | 3.2.17 | UI组件库 |
| **ECharts** | 5.4.2 | 图谱可视化 |
| **D3.js** | 7.8.3 | 数据可视化 |
| **Axios** | 1.3.4 | HTTP请求 |

#### 6. NLP工具

- **分词与NER**：自定义实体识别模块（基于规则+模型）
- **文本处理**：zhconv（繁简转换）、正则表达式
- **语义匹配**：TheFuzz（模糊字符串匹配）

---

### 系统工作流程

#### 知识图谱构建流程

```mermaid
graph TD
    A[原始文本] --> B[文本预处理]
    B --> C[UIE信息抽取]
    C --> D[BERT过滤验证]
    D --> E[人工筛选可选]
    E --> F[迭代训练]
    F --> G{扩展率检查}
    G -->|>1%| F
    G -->|<1%| H[知识图谱完成]
```

#### 智能问答流程

```mermaid
graph LR
    A[用户提问] --> B[NER实体识别]
    B --> C[知识图谱查询]
    B --> D[维基百科检索]
    B --> E[图片搜索]
    C --> F[信息融合]
    D --> F
    E --> F
    F --> G[ChatGLM生成]
    G --> H[流式返回答案]
```

---

### 关键算法原理

#### 1. 迭代式知识图谱扩展

```python
# 伪代码
while extend_ratio > 0.01 and iteration < max_iteration:
    # 1. 训练关系抽取模型
    model = train_spn4re(current_knowledge_graph)
    
    # 2. 在原始文本上预测新关系
    new_relations = model.predict(raw_text)
    
    # 3. 关系对齐（去重、归一化）
    aligned_relations = align_relations(new_relations)
    
    # 4. 扩展知识图谱
    extended_kg = current_kg + aligned_relations
    
    # 5. 计算扩展率
    extend_ratio = len(aligned_relations) / len(current_kg)
    
    current_kg = extended_kg
    iteration += 1
```

#### 2. 知识增强的对话生成

```python
# 伪代码
def enhanced_chat(user_query):
    # 1. 识别实体
    entities = ner.extract(user_query)
    
    # 2. 查询知识图谱
    kg_triples = graph.query(entities)
    
    # 3. 检索维基百科
    wiki_summary = wikipedia.search(entities)
    
    # 4. 构建增强prompt
    enhanced_prompt = f"""
    参考资料：
    - 知识图谱：{kg_triples}
    - 维基百科：{wiki_summary}
    
    问题：{user_query}
    """
    
    # 5. 生成回答
    answer = chatglm.generate(enhanced_prompt)
    return answer
```

---

### 性能优化建议

#### 训练加速
- 使用多GPU训练：修改 `--gpu 0,1,2,3`
- 减少batch size降低显存占用
- 使用混合精度训练（FP16）

#### 推理优化
- ChatGLM量化：INT8/INT4量化
- 模型缓存：预加载常用模型
- 批处理：合并多个请求

#### 系统优化
- 知识图谱索引：使用Neo4j等图数据库
- 缓存机制：Redis缓存热点查询
- 负载均衡：Nginx反向代理

---

## 📚 参考资料与引用

### 学术论文
1. **UIE**: Lu, Y., et al. (2022). "Unified Structure Generation for Universal Information Extraction." ACL 2022.
2. **SPN4RE**: Sui, D., et al. (2020). "Joint Entity and Relation Extraction with Set Prediction Networks." arXiv preprint.
3. **ChatGLM**: Zeng, A., et al. (2023). "GLM-130B: An Open Bilingual Pre-trained Model." ICLR 2023.

### 开源项目
- [PaddleNLP UIE](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie)
- [SPN4RE](https://github.com/DianboWork/SPN4RE)
- [ChatGLM-6B](https://github.com/THUDM/ChatGLM-6b)

### 相关工具
- [Neo4j](https://neo4j.com/): 图数据库
- [LabelStudio](https://labelstud.io/): 数据标注工具
- [Doccano](https://github.com/doccano/doccano): 文本标注工具

---

## 📞 联系与支持

### 常见问题（FAQ）

**Q: 系统需要多少数据才能运行？**  
A: 最少5000句，推荐1万句以上。数据越多，效果越好。

**Q: 必须要GPU吗？**  
A: 知识图谱构建需要GPU；问答系统可以CPU运行，但响应会较慢。

**Q: 支持英文吗？**  
A: 当前版本针对中文优化。支持英文需要替换为英文预训练模型（bert-base-uncased）。

**Q: 如何提高抽取准确率？**  
A: ①优化Schema定义 ②提高数据质量 ③增加数据量 ④适当进行人工筛选

**Q: 可以商用吗？**  
A: 请遵循各组件的开源协议。ChatGLM-6B禁止商用，可替换为其他商用模型。

### 贡献指南

欢迎贡献代码、报告Bug、提出建议！

1. Fork本项目
2. 创建特性分支 (`git checkout -b feature/AmazingFeature`)
3. 提交更改 (`git commit -m 'Add some AmazingFeature'`)
4. 推送到分支 (`git push origin feature/AmazingFeature`)
5. 提交Pull Request

### 开源协议

本项目采用 **MIT License** 开源协议。

---

## ⭐ Star History

如果这个项目对您有帮助，欢迎给我们一个Star ⭐️！

---

**祝您使用愉快！Have fun building knowledge graphs! 🎉**

YYChat

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

YYChat

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README