iofeed

KO | EN

gitlite — search

#javascript #python #hacktoberfest #react #ai #typescript #llm #go #golang #android #machine-learning #rust #deep-learning #linux

(★ 11)

IOFeed 是一个专注 AI 领域的智能资讯聚合平台，自动采集并展示来自 Twitter、YouTube 和 arXiv 的最新内容。系统基于 LLM 自动生成中文标题与摘要，对信息做质量与主题分析，并按日生成跨平台总结，帮助用户快速了解技术热点与趋势。后端使用 FastAPI + MySQL + Redis，前端基于 React + TypeScript 构建，支持定时任务、缓存加速与基础风控能力。

iofeed Latest Version Download

Download Latest Version (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

**Information is all you need**

一个专注 AI 领域的智能资讯聚合平台，自动采集、处理并展示来自 **Twitter、YouTube 和 arXiv** 的最新动态

[![Python](https://img.shields.io/badge/Python-3.8+-blue.svg)](https://www.python.org/)
[![React](https://img.shields.io/badge/React-19.2-blue.svg)](https://react.dev/)
[![TypeScript](https://img.shields.io/badge/TypeScript-5.9-blue.svg)](https://www.typescriptlang.org/)
[![FastAPI](https://img.shields.io/badge/FastAPI-0.104+-green.svg)](https://fastapi.tiangolo.com/)

[特性](#特性) • [系统架构](#系统架构) • [快速开始](#快速开始) • [配置说明](#配置说明) • [后端 API 文档](#后端-api-文档) • [数据迁移](#数据迁移mysql-导出-导入) • [贡献指南](#贡献指南) • [许可证](#许可证) • [致谢](#致谢) • [联系方式](#联系方式)

</div>

---

## ✨ 项目概述

### 1. 效果展示

<div align="center">
  <img src="docs/效果图/主页效果.png" alt="首页仪表盘效果图" width="80%" style="margin: 20px 0;" />
  <p><b>图 1：首页仪表盘</b> — 按来源分栏展示 Twitter / YouTube / arXiv 最新高质量信息，可按日期与关键词快速筛选。</p>

<img src="docs/效果图/一键阅读日报.png" alt="一键阅读日报效果图" width="80%" style="margin: 20px 0;" />
  <p><b>图 2：一键阅读日报</b> — 对单日多条资讯进行聚合，生成结构化的「一页纸」中文阅读摘要。</p>

<img src="docs/效果图/技术舆情洞察.png" alt="技术舆情洞察效果图" width="80%" style="margin: 20px 0;" />
  <p><b>图 3：技术舆情洞察</b> — 基于 Twitter 讨论与摘要结果，提炼技术热点与观点分布，辅助快速洞察趋势。</p>
</div>

### 2. 核心能力

- **多源 AI 资讯聚合**
  - **Twitter**：通过官方 API（Tweepy）抓取指定大 V 的最新推文，并过滤出与 AI 相关的内容
  - **YouTube**：通过 YouTube Data API v3 抓取频道最新视频，并获取字幕进行中文理解
  - **arXiv**：通过官方 arXiv API 按分类抓取最新论文

- **LLM 驱动的数据增强**
  - **Twitter**：中文标题与摘要生成、内容质量评分、来源可靠性/信息完整度/信息质量多维度打分、领域分类与「关注程度」标注
  - **YouTube**：自动中文标题和内容摘要、一键提炼「访谈黄金观点」日度总结
  - **arXiv**：自动中文标题与摘要、按研究方向聚合生成「按分类论文总结」

- **跨源「每日总结」**
  - 每天固定时间（默认 20:00）对 **Twitter / YouTube / arXiv** 的当天数据做聚合总结
  - 结果写入各自 MySQL 库的 `summary` 表，可在前端一键查看

- **现代化前端体验**
  - 首页仪表盘：按来源分栏卡片式展示
  - 日期路由：URL 直接携带日期（如 `/260204` 表示 2026-02-04）
  - 关键词搜索：在标题 / 描述 / 摘要内即时过滤
  - 分类筛选：Twitter、arXiv 分别按自定义分类筛选
  - 详情弹窗：查看完整内容与评分
  - 总结弹窗：查看单日跨源/单源总结
  - Discussion 热点分析：输入一个讨论点，流式返回热点观点分析

---

## 🏗️ 系统架构

### 1. 技术栈

- **后端**
  - Python 3.8+
  - FastAPI
  - MySQL（`twitter` / `youtube` / `arxiv` 三个库）
  - Redis（缓存首页数据、承载限流）
  - `schedule`（定时调度）
  - `tweepy`（Twitter 官方 API）
  - `google-api-python-client`（YouTube Data API v3）
  - Pydantic v2（数据模型校验）

- **前端**
  - React 19 + TypeScript + Vite
  - Tailwind CSS + Radix UI + 自定义 UI 组件
  - `react-markdown` + `rehype-raw` 渲染 Markdown 总结

- **AI / LLM 能力**
  - `dashscope` / 自封装 `call_gemini` 方法（根据实际配置调用通义千问等模型）
  - 全流程通过 Prompt 模板驱动，集中在 `config/prompt/` 中

### 2. 总体架构

数据流从外部数据源到前端展示的整体流程如下：

1. **定时任务调度（`jobs/scheduler.py`）**
   - 按配置的分钟间隔（`scheduler_interval_minutes`，默认为 720 分钟）执行：
     - `core.twitter_core.run_twitter_core`
     - `core.youtube_core.run_youtube_core`
     - `core.arxiv_core.run_arxiv_core`
   - 三个核心流程执行完毕后，调用 `apis.api_ops.update_redis_home` 计算并更新首页 Redis 缓存
   - 每天固定时间（默认 20:00）执行 `summary.summary.run_daily_summaries`，生成并写入三源 `summary` 表

2. **数据采集（`crawler/`）**
   - `crawler_twitter.py`：通过 Tweepy 调用 Twitter 官方 API，按账号维度拉取最新推文
   - `crawler_youtube.py`：通过 YouTube Data API v3 拉取频道最新视频及元信息
   - `crawler_arxiv.py`：通过 arXiv API 按分类抓取最新论文列表

3. **数据增强与存储（`core/`, `augmenter/`, `storager/`）**
   - `core.*_core` 串联：
     - 爬虫结果 → 解析与结构化 → 调用 LLM 增强（`augmenter_*`）→ Pydantic 校验（`models/`）→ 按库写入 MySQL（`storager/`）
   - 首页数据聚合后写入 Redis，用于 `/home` 接口快速返回

4. **API 层（`apis/app.py`, `apis/api_ops.py`）**
   - 通过 FastAPI 暴露对前端的查询接口
   - 中间件：
     - CORS：限制允许域名
     - 签名校验：基于时间戳 + 密钥的 MD5
     - 限流：基于 Redis 的 IP 限流（默认 10 次/分钟）

5. **前端展示（`webui/`）**
   - `src/services/api.ts`：
     - 统一拼接后端地址（同 host + `:8002`，如 `http://localhost:8002`）
     - 自动生成签名请求头
   - `src/App.tsx`：
     - 负责首页布局、路由中的日期解析、数据加载逻辑
   - `src/components/*Card.tsx`：
     - Twitter / YouTube / arXiv 卡片展示
   - `SummaryDialog` / `DetailDialog` 等组件：
     - 展示总结结果与详细内容

### 3. 目录结构
```
IOFeed/
├── apis/                  # API 服务层
│   ├── app.py            # FastAPI 应用入口
│   └── api_ops.py        # API 业务逻辑
├── augmenter/             # 数据增强模块
│   ├── augmenter_twitter.py
│   ├── augmenter_youtube.py
│   └── augmenter_arxiv.py
├── config/                # 配置文件
│   ├── database.py       # 数据库配置
│   ├── llms.py           # LLM 配置
│   ├── settings.py       # 项目配置
│   ├── prompt/           # AI 提示词模板
│   └── *.json            # 账号配置
├── core/                  # 核心处理流程
│   ├── twitter_core.py
│   ├── youtube_core.py
│   └── arxiv_core.py
├── crawler/               # 爬虫模块
│   ├── crawler_twitter.py
│   ├── crawler_youtube.py
│   └── crawler_arxiv.py
├── jobs/                  # 任务调度
│   └── scheduler.py      # 定时任务调度器
├── models/                # 数据模型
│   ├── twitter_scheme.py
│   ├── youtube_scheme.py
│   └── arxiv_scheme.py
├── parser/                # 数据解析
│   ├── parser_twitter.py
│   ├── parser_youtube.py
│   └── parser_arxiv.py
├── storager/              # 数据存储
│   ├── *_init.py         # 数据库初始化
│   └── *_save.py          # 数据保存
├── utils/                 # 工具模块
│   ├── sql.py            # MySQL 操作
│   ├── redis.py          # Redis 操作
│   ├── llm.py            # LLM 调用
│   ├── logger.py         # 日志工具
│   ├── signature.py      # 签名工具
│   └── rate_limit.py     # 限流工具
├── webui/                 # 前端项目
│   ├── src/
│   │   ├── components/   # React 组件
│   │   ├── services/     # API 服务
│   │   ├── utils/        # 工具函数
│   │   └── types/        # TypeScript 类型
│   ├── dist/             # 构建产物
│   └── package.json
├── logs/                  # 日志文件
├── scripts/               # 脚本
│   ├── run_summary_for_date.py  # 按指定日期手动生成一键阅读摘要并写入数据库
│   ├── start_linux.sh / start_windows.bat
│   └── stop_linux.sh / stop_windows.bat
├── main.py               # 主程序入口
├── requirements.txt      # Python 依赖
└── README.md            # 项目文档
```

---

## 🚀 快速开始

### 1. 环境要求

- 服务器需能够正常访问 **Twitter**、**YouTube** 和 **arXiv**（建议使用非大陆节点服务器）
- **Python**：3.8+（推荐 3.10+）
- **Node.js**：20.19+
- **MySQL**：5.7+ 或 8.0+  
  > 注意：请确保你的 MySQL 数据库密码与后续 `.env` 文件中所填写的密码保持一致
- **Redis**：5.0+（用于缓存与限流）

### 2. 克隆项目

```bash
git clone <repo-url>
cd iofeed
```

### 3. 环境配置

后端依赖通过 `config/settings.py` 读取 `.env` 文件，请在项目根目录创建 `.env`：

```env
# Twitter v2 API Bearer Token（必填）：在Twitter开发者官网获取
TWITTER_BEARER_TOKEN=your_twitter_bearer_token

# YouTube Data API v3 Key（必填）：在Youtube开发者官网（Google云）获取
YOUTUBE_API_KEY=your_youtube_api_key

# Supadata API Key（必填）：用于获取Youtube字幕，于Supadata官网注册
SUPADATA_API_KEY=your_supadata_api_key

# 根据操作系统环境填写数据库密码，按需选择
DB_PASSWORD_WINDOWS=your_mysql_password
DB_PASSWORD_LINUX=your_mysql_password

# LLM 服务的API
# 例如通义千问 DashScope Key（示例）
QWEN_API_KEY=your_qwen_api_key

# 生产环境前端地址（用于 CORS 配置），填入服务器ip地址
PRODUCTION_FRONTEND_URL=http://(ip地址):5173

# API 请求签名密钥，可不更改
API_SIGNATURE_SECRET=IOFeed
```

#### 模型配置（自建 LLM 接口）

当前项目默认通过自建的 LLM 网关调用大模型，相关配置与代码分布如下：

- `config/llms.py`：从 `.env` 中读取以下配置，并提供给调用方使用：
  - `GEMINI_HOST`：LLM 网关地址（例如 `http://your-llm-host`），在代码中用于拼接为 `GEMINI_HOST/api/v1/data_eval`
  - `GEMINI_USER`：网关的用户 ID 或 `secret_id`
  - `GEMINI_APIKEY`：网关的密钥 `secret_key`
  - `GEMINI_MODEL_MARKER`：模型标识符（例如某个模型别名）
- `utils/llm.py`：对上层暴露统一的调用函数：
  - 函数签名：
    ```python
    def call_gemini(prompt: str, max_retries: int = 3) -> Optional[str]:
        """接收完整 prompt 字符串，返回模型生成的纯文本；失败时返回 None"""
    ```
  - **输入**：
    - `prompt`：已经拼好的完整提示词（包括系统说明、用户内容等），由上层业务模块（如 `augmenter_*`、`summary/summary.py`）负责组装
    - `max_retries`：出现网络/网关错误时的最大重试次数
  - **输出**：
    - 成功：返回一个 `str`，为模型生成的中文/英文纯文本结果（内部会把返回 JSON 中 `answer` 数组里 `type == "text"` 的 `value` 拼接成一个多行字符串）
    - 失败：返回 `None`，调用方会记录日志并做降级处理

如果你接入的是自己的 LLM 服务，一般只需要：

1. 在 `.env` 中按你的网关实际配置好：`GEMINI_HOST`、`GEMINI_USER`、`GEMINI_APIKEY`、`GEMINI_MODEL_MARKER`。
2. 修改 `utils/llm.py` 中 `call_gemini` 的实现逻辑，使其按照你的接口协议构造请求：
   - 替换请求 URL（如 `base_url = f"{gemini_host}/你的路径"`）。
   - 按你的签名/认证方式调整 `_get_simple_auth` 或直接在 `headers` 中填入 Token。
   - 按你的接口格式构造 `json` 请求体（当前示例使用 `messages`/`model_marker` 等字段）。
   - 解析响应时，最终仍需整理为一个 `str` 文本返回（或在错误时返回 `None`）。

**关键约定**：只要保持 `call_gemini(prompt: str) -> Optional[str]` 这个函数签名与返回约定不变，其它模块（如数据增强、每日总结）无需修改即可直接复用你的自建模型服务。

### 4. 配置后端

在项目根目录位置，配置好后端依赖项

```bash
# 1）创建并激活虚拟环境
python -m venv venv

# Windows
# venv\Scripts\activate

# Linux / macOS
source venv/bin/activate

# 2）安装依赖
pip install -r requirements.txt
```

### 5. 配置前端

前端配置需进入idfeed/webui文件夹

```bash
cd webui
npm install
npm run build
```
### 6. 前后端端口开放

在云服务器控制台（如阿里云、腾讯云、AWS、Azure等）**请确保前端和后端所用的端口（如 8002 端口用于后端 API 服务，5173 端口用于前端开发/预览）均已开放**，并配置好防火墙或安全组规则，允许外部访问。

### 7. 一键启动方式（推荐）

你可以使用 `scripts` 文件夹中的脚本（适配 Windows 和 Linux/macOS）一键启动服务

```bash
# Windows 环境
.\scripts\start_windows.bat

# Linux / macOS
bash scripts/start_linux.sh
```

- 脚本会自动运行爬虫程序、启动后端 FastAPI 服务、开启前端端口

如需分别启动/调试后端或前端，也可参考上述传统命令手动运行。

---

## ⚙️ 配置说明

### 1. 环境变量配置

所有配置通过 `.env` 文件管理，详见 [快速开始 - 环境配置](#3-环境配置)。

### 2. 调度器配置

在 `config/settings.py` 中配置：

```python
# 调度器执行间隔（分钟）
scheduler_interval_minutes = 720  # 默认 12 小时

调度器（`jobs/scheduler.py`）包含两类定时任务：

1. **按间隔执行**：每 `scheduler_interval_minutes` 分钟执行一次 Twitter / YouTube / arXiv 数据采集，并更新 Redis 首页缓存。
2. **每日固定时间**：每天 **20:00** 执行一次「昨日」一键阅读摘要任务，为 Twitter、YouTube、arXiv 三个渠道生成前一日的日度总结，并写入各自库的 `summary` 表（`summary_date`、`summary`），前端按日期查询即可展示。

### 3. 一键阅读摘要与手动补跑

- **自动生成**：每天 20:00 会自动为「昨天」生成三渠道日度摘要并写入数据库，无需人工操作。
- **手动按日期补跑**：若需为某一天补生成摘要（例如历史日期或定时任务未跑），可在项目根目录执行：

```bash
# 日期格式一：YYYY-MM-DD
python scripts/run_summary_for_date.py 2026-02-25

# 日期格式二：YYMMDD（自动按 20XX 年解析）
python scripts/run_summary_for_date.py 260225
```

脚本会为指定日期生成 Twitter / YouTube / arXiv 的日度总结并写入 `twitter.summary`、`youtube.summary`、`arxiv.summary`，写入后前端通过「按日期查询 summary」即可看到该日的一键阅读内容。

### 4. 账号配置

- `config/twitter_account.json`: Twitter 账号列表
- `config/youtube_account.json`: YouTube 频道列表
- `config/arxiv_account.json`: arXiv 领域列表

---

## 🔌 后端 API 文档

启动后端服务后，访问以下地址查看 API 文档：

- **Swagger UI**: http://localhost:8002/docs
- **ReDoc**: http://localhost:8002/redoc

### 1. 主要接口

#### `GET /home`

获取首页数据（今日+昨日），优先从 Redis 缓存获取。

**请求头**：
```
X-Timestamp: 1738123456
X-Signature: a1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6
```

**响应示例**：
```json
{
  "twitter": [
    {
      "id": 1,
      "link": "https://twitter.com/...",
      "pubdate": "Tue, 18 Nov 2025 22:29:42 GMT",
      "author": "@username",
      "category": "模型更新",
      "score": 8.5,
      "concern": "翻译",
      "title_cn": "中文标题",
      "summary_cn": "中文摘要"
    }
  ],
  "youtube": [...],
  "arxiv": [...]
}
```

#### `GET /getdata?date=MMDD`

根据日期查询数据。

**参数**：
- `date` (必需): 日期字符串，格式为 MMDD（如 0126 表示 1月26日）

**请求头**：
```
X-Timestamp: 1738123456
X-Signature: a1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6
```

**响应示例**：
```json
{
  "code": 200,
  "msg": "success",
  "data": {
    "twitter": [...],
    "youtube": [...],
    "arxiv": [...]
  }
}
```

**错误响应**：
```json
{
  "code": 400,
  "msg": "日期格式错误，应为MMDD格式（如0126）",
  "data": {
    "twitter": [],
    "youtube": [],
    "arxiv": []
  }
}
```

### 2. 请求频率限制

API 接口实施了请求频率限制，**每个IP地址每分钟最多允许10次请求**。

**限流响应头**：
- `X-RateLimit-Limit`: 时间窗口内允许的最大请求数（10）
- `X-RateLimit-Window`: 时间窗口大小（秒，60）
- `X-RateLimit-Remaining`: 当前窗口剩余请求次数

**超过限流时的响应**：
- 状态码：`429 Too Many Requests`
- 响应体：
```json
{
  "code": 429,
  "msg": "请求频率超限，每分钟最多允许 10 次请求",
  "data": null
}
```

**注意**：
- API 文档路径（`/docs`, `/redoc`, `/openapi.json`）不受限流限制
- 限流基于客户端 IP 地址识别
- 使用 Redis 存储限流计数，支持多实例部署
- 如果 Redis 不可用，系统会降级处理（允许所有请求），并记录警告日志

### 3. 请求签名校验

API 接口实施了请求签名校验，防止爬虫直接模拟请求。

**签名算法**：
- 签名 = MD5(时间戳 + 密钥)
- 时间戳：Unix时间戳（秒）
- 密钥：从环境变量 `API_SIGNATURE_SECRET` 读取

**请求头要求**：
- `X-Timestamp`: Unix时间戳（秒）
- `X-Signature`: MD5签名（32位十六进制字符串）

**校验规则**：
1. 检查请求头是否包含 `X-Timestamp` 和 `X-Signature`
2. 验证时间戳是否在5分钟内（防止重放攻击）
3. 验证签名是否正确（使用相同算法重新计算并比较）
4. 使用安全的字符串比较（防止时序攻击）

**签名失败时的响应**：
- 状态码：`403 Forbidden`
- 响应体：
```json
{
  "code": 403,
  "msg": "请求签名校验失败: [具体错误信息]",
  "data": null
}
```

**前端实现**：
前端每次请求会自动生成签名并添加到请求头，无需手动处理。签名生成逻辑在 `webui/src/utils/signature.ts` 中。

**注意**：
- API 文档路径（`/docs`, `/redoc`, `/openapi.json`）不进行签名校验
- OPTIONS 预检请求不进行签名校验
- 签名过期时间为5分钟，过期后需要重新生成
- 生产环境请修改 `API_SIGNATURE_SECRET` 为更安全的密钥

---

## 🔁 数据迁移（MySQL 导出 / 导入）

项目内置了简单的 MySQL 迁移脚本，便于在不同服务器之间迁移 `twitter` / `youtube` / `arxiv` 三个库的数据。

### 1. 导出当前服务器数据为 SQL

- 脚本位置：`migrate/export_mysql_sql.py`
- 功能：将当前 MySQL 中的 `twitter`、`youtube`、`arxiv` 库所有表结构与数据导出为 SQL 文件
- 输出目录：`migrate/output/`
  - `twitter_dump.sql`
  - `youtube_dump.sql`
  - `arxiv_dump.sql`

在项目根目录执行：

```bash
python -m migrate.export_mysql_sql
```

### 2. 从 SQL 文件导入数据

- 脚本位置：`migrate/import_mysql_sql.py`
- 功能：将 `migrate/output/` 下上述 SQL 文件导入到当前 MySQL（使用 `.env` 中配置的帐号和密码）

在项目根目录执行：

```bash
python -m migrate.import_mysql_sql
```

**注意事项**：

- 确保 `.env` 中的数据库配置（`DB_PASSWORD_WINDOWS` / `DB_PASSWORD_LINUX`）正确，能连到目标 MySQL
- 导出/导入只处理表结构和数据，不包含 `CREATE DATABASE` / `USE` 语句，数据库名以项目配置为准
- `migrate/output/` 与 `migrate/*.sql` 已在 `.gitignore` 中忽略，不会提交到 Git

---

## 🤝 贡献指南

欢迎提交 Issue 和 Pull Request！

### 1. 贡献流程

1. Fork 本项目
2. 创建特性分支 (`git checkout -b feature/AmazingFeature`)
3. 提交更改 (`git commit -m 'feat: Add some AmazingFeature'`)
4. 推送到分支 (`git push origin feature/AmazingFeature`)
5. 开启 Pull Request

### 2. 代码规范

- 遵循项目的代码规范（见 [开发指南](#-开发指南)）
- 编写清晰的提交信息（使用 Conventional Commits）
- 添加必要的测试和文档
- 确保所有测试通过

### 3. 报告问题

提交 Issue 时，请包含：
- 问题描述
- 复现步骤
- 预期行为
- 实际行为
- 环境信息（操作系统、Python 版本、Node.js 版本等）
- 相关日志或错误信息

---

## 📄 许可证

本项目采用 GPL-2.0 许可证。详见 [LICENSE](LICENSE) 文件。

---

## 🙏 致谢

- [FastAPI](https://fastapi.tiangolo.com/) - 现代化的 Python Web 框架
- [React](https://react.dev/) - 用于构建用户界面的 JavaScript 库
- [Tailwind CSS](https://tailwindcss.com/) - 实用优先的 CSS 框架
- [RSSHub](https://github.com/DIYgod/RSSHub) - 万物皆可 RSS
- [DashScope](https://dashscope.aliyun.com/) - 通义千问 API
- [Vite](https://vitejs.dev/) - 下一代前端构建工具

---

## 📮 联系方式

如有问题或建议，欢迎通过以下方式联系：

- 提交 [Issue](https://github.com/your-username/IOFeed/issues)
- 发送邮件至：2894949117@qq.com

---

**⭐ 如果这个项目对你有帮助，请给个 Star！**

Made with ❤️ by IOFeed Team

</div>

iofeed

iofeed Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

iofeed

iofeed Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

Download README