daily_academic_podcast

KO | EN

gitlite — search

#hacktoberfest #react #ai #go #golang #machine-learning #rust #docker #macos #java #windows #awesome #awesome-list #security

daily_academic_podcast

(★ 13)

一个自动化的每日学术播客生成器，支持直接从 Hugging Face Paper 上获取每日论文以及用户额外输入论文，生成图文并茂的高质量论文播客。

daily_academic_podcast Latest Version Download

Download Latest Version (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# arXiv Daily Podcast 自动化生成器

这是一个 Python 项目，旨在自动化地将一篇或多篇 arXiv 论文转化为通俗易懂、适合播客的博客文章。项目通过下载论文 PDF 文件，并直接将 PDF 传递给支持文件输入的大型语言模型（如 Gemini、GPT），生成结构化的三段式解读文章。

**推荐配置**：使用 `gemini-3-pro-preview` 模型可获得最佳效果（经测试验证）。

## 主要功能

- **PDF 直接输入**: 将论文 PDF 文件直接传递给 LLM，保留完整的论文结构、图表和公式信息。
- **自动获取论文**:
  - 从 arXiv URL 自动抓取论文元信息并下载 PDF 文件
  - 从 Huggingface 每日论文 API 自动获取当日热门论文
  - 支持从文件读取 URL 列表
- **概览图提取**: 自动从 PDF 中提取论文概览图（Overview Figure）
- **高质量内容生成**: 调用支持文件输入的 LLM 生成符合特定格式和风格的播客文章
  - **推荐模型**: `gemini-3-pro-preview`（经测试效果最佳）
  - 支持自定义 Prompt 优化输出效果
- **批量处理**: 支持一次性处理多个 URL，支持并行处理以提高效率
- **灵活配置**: 用户可以轻松更换 LLM 模型、自定义生成 Prompt、调整并行数量等
- **结构化输出**: 为每篇论文生成独立的 Markdown 文件，并为每次批量任务生成包含所有文章的汇总报告

## 项目结构

```
daily_academic_podcast/
├── main.py                    # 主程序入口，负责命令行解析和任务调度
├── arxiv_fetcher.py           # 模块：负责从 arXiv 获取论文数据和下载 PDF
├── podcast_generator.py       # 模块：负责调用 LLM 生成播客文章（PDF 直接输入）
├── paper_crawler.py           # 模块：负责从 Huggingface 爬取每日论文列表
├── pdf_image_extractor.py     # 模块：负责从 PDF 中提取概览图
├── requirements.txt           # Python 依赖包列表
├── utils/                     # 工具函数模块
└── logs/                      # 日志目录，记录程序运行信息
```

## 安装与配置

### 1. 环境准备

确保你的环境中已安装 Python 3.8+ 和 pip，推荐使用虚拟环境。

### 2. 安装依赖

在项目根目录下，运行以下命令安装所需的 Python 库：

```bash
pip install -r requirements.txt
```

### 3. 配置 API 密钥

本项目支持 OpenAI 和 Gemini 两种 API 提供商，使用 `python-dotenv` 从 `.env` 文件中读取 API 密钥。

请创建 `.env` 文件（项目根目录下），并设置相应的环境变量。

#### API Key 配置规则

项目支持两种用途的模型，每种用途可以独立配置不同的 API key：

1. **播客生成模型**：用于生成播客文章内容
2. **Grounding 模型**：用于识别和提取论文概览图

#### 配置方式

**优先级规则**：
- 优先检查 OpenAI API key，如果存在则使用 OpenAI 接口
- 否则检查 Gemini API key，如果存在则使用 Gemini 接口
- 如果都未配置，程序会报错

#### 完整配置示例

在项目根目录创建 `.env` 文件，根据你的需求配置以下环境变量：

```bash
# ============================================
# 播客生成模型配置（二选一）
# ============================================

# 方式 1: 使用 OpenAI API
OPENAI_API_KEY=sk-your-openai-api-key-here
OPENAI_BASE_URL=your-openai-base-url-here  # 可选
# 如果使用第三方兼容 OpenAI API 的服务，可以设置自定义 base_url
# 例如: OPENAI_BASE_URL=https://api.example.com/v1

# 方式 2: 使用 Gemini API（如果上面没有配置 OPENAI_API_KEY，则使用此配置）
GEMINI_API_KEY=your-gemini-api-key-here
GEMINI_BASE_URL=your-gemini-base-url-here  # 可选

# ============================================
# Grounding 模型配置（二选一，用于识别概览图）
# ============================================

# 方式 1: 使用 OpenAI API（用于 Grounding）
GROUNDING_OPENAI_API_KEY=sk-your-grounding-openai-api-key-here
GROUNDING_OPENAI_BASE_URL=your-grounding-openai-base-url-here  # 可选

# 方式 2: 使用 Gemini API（用于 Grounding，如果上面没有配置 GROUNDING_OPENAI_API_KEY，则使用此配置）
GROUNDING_GEMINI_API_KEY=your-grounding-gemini-api-key-here
GROUNDING_GEMINI_BASE_URL=your-grounding-gemini-base-url-here  # 可选
```

#### 最小配置示例

如果你只使用 OpenAI API，最小配置如下：

```bash
# 播客生成模型
OPENAI_API_KEY=sk-your-openai-api-key-here

# Grounding 模型（可以与播客生成模型使用相同的 key）
GROUNDING_OPENAI_API_KEY=sk-your-openai-api-key-here
```

如果你只使用 Gemini API，最小配置如下：

```bash
# 播客生成模型
GEMINI_API_KEY=your-gemini-api-key-here

# Grounding 模型（可以与播客生成模型使用相同的 key）
GROUNDING_GEMINI_API_KEY=your-gemini-api-key-here
```

#### 混合配置示例

你也可以为不同用途配置不同的 API 提供商：

```bash
# 播客生成使用 Gemini
GEMINI_API_KEY=your-gemini-api-key-here

# Grounding 使用 OpenAI
GROUNDING_OPENAI_API_KEY=sk-your-openai-api-key-here
```

#### 关于 BASE_URL

- `BASE_URL` 参数是可选的，如果不设置，将使用对应提供商的官方 API 地址
- 如果使用第三方兼容 OpenAI API 的服务（某些代理服务或自建服务，如 [钱多多 API](https://api2.aigcbest.top/)），可以设置自定义的 `OPENAI_BASE_URL`
- 如果使用 Gemini API，通常不需要设置 `GEMINI_BASE_URL`，除非使用自定义的 Gemini 兼容服务

## 使用方法

本项目通过 `config.yml` 配置文件进行参数设置，运行时只需执行 `python main.py` 即可。

### 第一次使用

1. **创建配置文件**: 项目根目录下已提供 `config.yml` 配置文件模板
2. **编辑配置**: 根据需要修改 `config.yml` 中的参数
3. **运行程序**: 执行 `python main.py`

### 配置文件说明

配置文件 `config.yml` 包含以下几个部分：

#### 1. 输入源配置 (`input`)

支持三种输入方式，可以同时启用多种：

**从 Huggingface 爬取每日论文**:
```yaml
input:
  daily:
    enabled: true  # 启用此功能
    limit: 5       # 保留前 N 篇论文
```

**从文件读取 URL 列表**:
```yaml
input:
  file:
    enabled: true           # 启用此功能
    path: "test_urls.txt"   # URL 列表文件路径（每行一个 URL）
```

**直接输入 arXiv 链接**:
```yaml
input:
  arxiv:
    enabled: true
    urls:
      - "https://arxiv.org/abs/2310.08560"
      - "https://arxiv.org/abs/2312.00752"
```

#### 2. 输出配置 (`output`)

```yaml
output:
  dir: "output"      # 输出目录
  pdf_dir: "pdfs"    # PDF 临时保存目录
```

#### 3. 模型配置 (`models`)

```yaml
models:
  # 播客生成模型（需支持 PDF 文件输入）
  podcast_model: "gpt-4.1-mini"

# 概览图识别模型（需支持图片输入）
  grounding_model: "gpt-4.1-mini"
```

推荐模型组合（最佳效果）:
```yaml
models:
  podcast_model: "gemini-3-pro-preview"  # 经测试效果最佳
  grounding_model: "gemini-3-pro-preview"  # 同时用于概览图识别
```

备用组合:
```yaml
models:
  podcast_model: "gemini-3-pro-preview"
  grounding_model: "Qwen/Qwen3-VL-235B-A22B-Instruct"
```

#### 4. Prompt 配置 (`prompt`)

```yaml
prompt:
  # 自定义播客生成 prompt 文件路径（可选）
  custom_file: null
  # 例如: custom_file: "prompts/gpt5_podcast_prompt.txt"

# 自定义概览图识别 prompt 文件路径（可选）
  grounding_file: null
  # 例如: grounding_file: "prompts/gpt5_grounding_prompt.txt"
```

**说明**：
- `custom_file`: 用于生成播客文章内容的提示词文件
- `grounding_file`: 用于识别和定位论文概览图的提示词文件
- 两个配置都是可选的，如果不指定则使用默认提示词
- 项目提供了针对 GPT-5.2 优化的提示词模板供参考

#### 5. 性能配置 (`performance`)

```yaml
performance:
  max_workers: 5  # 最大并行处理数量（建议 3-10）
  max_pages: 5    # 搜索概览图的最大页数
```

#### 6. 日志配置 (`logging`)

```yaml
logging:
  dir: "logs"      # 日志目录
  level: "INFO"    # 日志级别: DEBUG, INFO, WARNING, ERROR
```

### 使用示例

#### 1. 从 Huggingface 获取每日论文（推荐）

编辑 `config.yml`:
```yaml
input:
  daily:
    enabled: true
    limit: 7  # 获取前 7 篇
```