ai-boshu-crawler

KO | EN

gitlite — search

#python #react #typescript #llm #go #machine-learning #nodejs #awesome #cli #awesome-list #pytorch #security #ios #openai

ai-boshu-crawler

(★ 93)

AI creator ingestion workflows for Bilibili, Douyin, and Feishu Base

ai-boshu-crawler Latest Version Download

Download Latest Version (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# AI博主爬取

这是一个用于追踪 B站、抖音、小红书和 YouTube AI 博主的本地采集项目。它可以下载近期视频、生成口播稿与转写产物，并将选定的元数据同步回飞书多维表格。

## 包含内容

- `download_bili_following_latest.py`：从飞书多维表格读取持续追踪的 B站博主，下载最新视频、采集首轮元数据并写入任务记录。
- `postprocess_bili_videos.py`：为本地已下载的 B站视频补充字幕或 Whisper 转写稿。
- `postprocess_platform_videos.py`：为已经存在飞书视频记录的本地下载文件执行跨平台通用转写后处理。
- `sync_bilibili_comments_to_feishu.py`：采集有代表性的 B站评论并同步到飞书。
- `download_douyin_latest.py`：下载已配置抖音博主的最新视频。
- `sync_douyin_to_feishu.py`：将本地抖音下载产物同步到飞书。
- `enrich_douyin_feishu.py`：使用本地产物回填抖音内容洞察字段。
- `download_xiaohongshu_latest.py`：从飞书读取持续追踪的小红书博主，并通过项目内 skill 下载最新视频笔记。
- `download_youtube_latest.py`：从 YouTube 频道的 `/videos` 页面发现近期长视频，并采集原始字幕、元数据和首轮指标。
- `sync_xiaohongshu_to_feishu.py`：将小红书本地产物同步为飞书视频记录。
- `sync_xiaohongshu_comments_to_feishu.py`：将小红书视频笔记评论保存到本地，并可按限制写入飞书评论表。
- `publish_transcript_docs_to_feishu.py`：根据本地口播稿创建飞书文档，并将文档地址回写到多维表格。
- `migrate_cross_platform_metrics.py`：以幂等方式新增“内容作品”表及指标检查点字段。
- `sync_content_works.py`：保守归并各平台发布，重新检查自动生成的单条作品，并修复指标快照关联。
- `refresh_video_metric_snapshots.py`：不重新下载媒体，独立追加 T+3、T+7 或按需采集的指标快照。
- `query_content_metrics.py`：查询一条内容作品的跨平台检查点数据及明确的数据缺口。
- `.agents/skills/`：供重复采集、评论同步和分析流程使用的项目内 Codex skills。

## 飞书多维表格数据模型

- `博主` 表中的每条记录代表一个平台账号，`是否持续跟踪` 是该账号的追踪开关。
- 博主账号统一使用 `平台用户ID`：B站 MID、抖音 SecUID、小红书用户 ID 和 YouTube Channel ID 都存放在该字段中。
- 视频或笔记统一使用 `平台视频ID`：分别存放 B站 BVID、抖音 aweme_id、小红书 note_id 和 YouTube Video ID。
- `视频` 表与 `视频评论` 表使用 `平台 + 平台视频ID` 作为跨平台统一标识。B站 BVID 直接存入 `平台视频ID`，不再单独保留飞书 `BVID` 字段。
- `内容作品` 是跨平台聚合层；`视频` 表仍然是一条记录对应一次平台发布，`视频数据快照` 表仍然是一条记录对应某次平台发布的一个检查点。
- `跨平台主体标识` 用于明确连接属于同一博主主体的不同平台账号；昵称相似不能单独作为主体一致的证据。
- 自动归并必须满足账号记录相同，或 `跨平台主体标识` 相同且非空；仅标题相似时只能生成人工确认候选。
- `视频采集策略` 留空时保持原有下载行为。只有当抖音、小红书或 YouTube 账号明确设为 `仅采集数据` 时，才允许不下载媒体。
- 统一字段迁移完成后，飞书中不再使用 `B站MID`、`抖音SecUID`、`小红书用户ID`、`抖音主页链接`、`小红书主页链接`、`抖音持续跟踪` 和 `小红书持续跟踪` 等旧字段。

## 本地准备

1. 复制配置示例，并填写本地飞书多维表格信息：

```powershell
   Copy-Item .\feishu-base-config.example.json .\feishu-base-config.json
   ```

2. 确保工作流依赖的外部命令可以在当前终端中使用：

- `python`
   - `lark-cli`
   - `ffmpeg`
   - `yt-dlp 2026.7.4` 及与之匹配的 `yt-dlp-ejs`
   - 用于 ASR 转写后处理的 `whisper`
   - 用于 CDP 工具和 YouTube EJS 挑战的 `node >= 22`

安装固定版本的 YouTube 依赖，不改动无关的可选包：

```powershell
   python -m pip install -r .\requirements-youtube.txt
   ```

3. 运行产物默认不会提交到 Git。下载媒体、口播稿、manifest、浏览器配置、授权二维码和本地飞书配置都只保留在本机。

## 常用命令

运行跨平台最新视频采集：

```powershell
python .\download_all_platform_latest.py --platform all
```

总编排器会在 B站和抖音流程前运行项目内浏览器预检。小红书和 YouTube 使用各自独立的发现路径，因此会跳过该预检：

```powershell
node .\.agents\skills\web-access\scripts\check-deps.mjs
```

只有在明确需要跳过共享 Chrome CDP 代理刷新时，才使用 `--no-browser-preflight` 或 `--skip-browser-preflight`。

运行一次有数量限制的端到端流程，并执行共享的下载后转写处理：

```powershell
python .\download_all_platform_latest.py --platform all --postprocess --postprocess-max-videos 1
```

只运行 B站最新视频采集：

```powershell
python .\download_bili_following_latest.py --videos-per-creator 3
```

运行 B站口播稿后处理：

```powershell
python .\postprocess_bili_videos.py --model large-v3-turbo --device cuda
```

根据飞书视频记录运行跨平台通用口播稿后处理：

```powershell
python .\postprocess_platform_videos.py --record-id <record_id> --model large-v3-turbo --device cuda
```

下载抖音博主的最新视频：

```powershell
python .\download_douyin_latest.py --videos-per-creator 1
```

添加并测试一位 YouTube 博主，然后采集其近期长视频：

```powershell
python .\add_creator_to_feishu.py --url "https://www.youtube.com/@danmartell" --dry-run
python .\add_creator_to_feishu.py --url "https://www.youtube.com/@danmartell"
python .\download_youtube_latest.py --max-creators 1 --max-total-videos 1 --recent-days 7
```

迁移并运行延迟指标检查点：

```powershell
python .\migrate_cross_platform_metrics.py --dry-run
python .\migrate_cross_platform_metrics.py
python .\sync_content_works.py --recent-days 14 --dry-run
python .\sync_content_works.py --recent-days 14
python .\refresh_video_metric_snapshots.py --dry-run
python .\refresh_video_metric_snapshots.py
```

按需刷新或查询一条内容作品：

```powershell
python .\refresh_video_metric_snapshots.py --live --work-record-id <content_work_record_id>
python .\query_content_metrics.py --work-record-id <content_work_record_id>
```

在不写入飞书的情况下预览口播稿文档发布：

```powershell
python .\publish_transcript_docs_to_feishu.py --dry-run
```

ai-boshu-crawler

ai-boshu-crawler Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

ai-boshu-crawler

ai-boshu-crawler Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

Download README