WeChat-Article-Crawler

KO | EN

gitlite — search

#python #java #python3 #arduino #golang #machine-learning #rust #html #flask #javascript #seismology #nodejs

WeChat-Article-Crawler

★ 14 Open GitHub ↗

一个功能强大的微信公众号文章爬虫和监控工具，支持自动更新检测、文章存档、失效文章过滤等功能。

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# 微信公众号文章爬虫

一个功能强大的微信公众号文章爬虫和监控工具，支持自动更新检测、文章存档、失效文章过滤等功能。

## 功能特点

- ✅ **自动监控** - 持续监控公众号更新，定时检查新文章
- ✅ **智能判断** - 对比第一篇文章，只爬取有更新的内容
- ✅ **失效过滤** - 自动识别并跳过已失效的文章（包含 tempkey=）
- ✅ **垃圾清理** - 自动删除小于指定大小的垃圾文章
- ✅ **格式统一** - 按公众号分类记录，便于管理
- ✅ **Markdown保存** - 将文章转换为 Markdown 格式保存
- ✅ **灵活配置** - 所有参数可在配置文件中调整

## 项目结构

```
WeChat-Article-Crawler/
├── 爬取微信公众号文章.py    # 主程序
├── config.json                 # 配置文件
├── config说明.txt              # 配置说明
├── gzh.txt                     # 公众号 fakeid 列表
├── 公众号名字                  # 公众号名称列表
├── wx_poc.txt                  # 文章记录日志
├── 公众号文章/                 # 文章保存目录
│   ├── 公众号名1/
│   └── 公众号名2/
├── requirements.txt             # Python 依赖
├── README.md                   # 项目说明
└── .gitignore                 # Git 忽略文件
```

## 快速开始

### 1. 安装依赖

```bash
pip install -r requirements.txt
```

### 2. 配置参数

编辑 `config.json` 文件，填写必要参数：

```json
{
    "token": "你的token",
    "cookie": "你的cookie",
    "min_file_size_kb": 3,
    "check_interval_minutes": 60,
    "retry_interval_minutes": 5
}
```

详细配置说明请查看 `config说明.txt`

### 3. 添加公众号

在 `gzh.txt` 中添加公众号 fakeid，每行一个
在 `公众号名字` 中添加对应的公众号名称，每行一个

### 4. 运行程序

```bash
python 爬取微信公众号文章.py
```

程序将自动开始监控，每隔指定时间检查一次更新。

## 配置说明

### 配置项

| 配置项 | 类型 | 默认值 | 说明 |
|---------|------|---------|------|
| token | 必填 | - | 微信公众号后台 token |
| cookie | 必填 | - | 微信公众号后台 cookie |
| min_file_size_kb | 可选 | 3 | 最小文件大小（KB），小于此值的文章将被删除 |
| check_interval_minutes | 可选 | 60 | 检查间隔（分钟），每隔多久检查一次更新 |
| retry_interval_minutes | 可选 | 5 | 重试间隔（分钟），发生错误后等待多久重试 |

### 获取 Token 和 Cookie

1. 登录 [微信公众平台](https://mp.weixin.qq.com/)
2. 打开浏览器开发者工具（F12）
3. 切换到 Network 标签
4. 刷新页面，找到任意请求
5. 从请求头中复制 `token` 和 `cookie`

## 工作原理

1. **首次运行**：爬取所有公众号的所有文章，建立存档
2. **后续运行**：
   - 请求每个公众号的第一篇文章
   - 对比 `wx_poc.txt` 中的记录
   - 如果相同 → 跳过该公众号（无更新）
   - 如果不同 → 爬取新内容直到找到已存档文章
3. **失效检测**：识别包含 `tempkey=` 的链接，自动跳过
4. **垃圾清理**：检查文件大小，删除小于指定值的文章

## 输出示例

### wx_poc.txt 格式

```
============================================================
公众号：安静安全
文章数量：10篇
第一篇文章：[跟着静师傅学代码审计]itc中心管理服务器审计
第一篇文章链接：https://mp.weixin.qq.com/s/SLZp08Ps3aBrGKp7QJ2xqw
============================================================
文章名字：[跟着静师傅学代码审计]itc中心管理服务器审计
文章链接：https://mp.weixin.qq.com/s/SLZp08Ps3aBrGKp7QJ2xqw
--------------------------------------------------
...
```

### Markdown 文件格式

```markdown
# 文章标题

**Date:** 2026-01-26
**Link:** https://mp.weixin.qq.com/s/xxx
**Account:** 公众号名称
**Summary:** 文章摘要

文章内容...
```

## 注意事项

1. ⚠️ **请勿频繁请求** - 建议检查间隔不少于 30 分钟，避免账号被封禁
2. ⚠️ **Token 和 Cookie 有效期** - 定期更新 token 和 cookie
3. ⚠️ **失效文章** - 包含 `tempkey=` 的链接表示文章已删除，程序会自动跳过
4. ⚠️ **文件大小** - 建议设置 3-5 KB，有效过滤垃圾文章
5. ⚠️ **网络稳定** - 确保网络连接稳定，避免频繁重试

## 技术栈

- Python 3.x
- requests - HTTP 请求
- re - 正则表达式

## 许可证

MIT License

## 贡献

欢迎提交 Issue 和 Pull Request！

## 免责声明

本工具仅供学习和研究使用，请勿用于非法用途。使用本工具所产生的一切后果由使用者自行承担。

## 更新日志

### v1.0.0 (2026-02-04)
- ✅ 初始版本发布
- ✅ 支持自动监控和更新检测
- ✅ 支持失效文章过滤
- ✅ 支持垃圾文章自动清理
- ✅ 支持按公众号分类记录
- ✅ 支持灵活配置

WeChat-Article-Crawler

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README