Eastmoney-Industry-Crawler

KO | EN

gitlite — search

#llm #go #android #machine-learning #rust #deep-learning #docker #macos #nodejs #java #awesome #cli #openai #open-source

Eastmoney-Industry-Crawler

(★ 9)

📊 A股86个申万行业财务数据可视化分析平台 | 东方财富数据爬虫 | 覆盖营收、净利润、ROE、毛利率、净利率、股息率6大指标 | 自动更新 | 纯静态部署

Eastmoney-Industry-Crawler 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# 📊 IndustryData - A股行业财务数据分析平台

**专业的 A 股行业级财务数据可视化与分析工具**

[![Python 3.11+](https://img.shields.io/badge/Python-3.11+-3776AB?style=flat-square&logo=python&logoColor=white)](https://python.org)
[![License: MIT](https://img.shields.io/badge/License-MIT-yellow?style=flat-square)](https://raw.githubusercontent.com/Furinaaa-Cancan/Eastmoney-Industry-Crawler/main/LICENSE)
[![Data: 东方财富](https://img.shields.io/badge/数据来源-东方财富-E8590C?style=flat-square)](https://data.eastmoney.com)
[![Auto Update](https://img.shields.io/badge/自动更新-GitHub_Actions-2088FF?style=flat-square&logo=github-actions&logoColor=white)](https://raw.githubusercontent.com/Furinaaa-Cancan/Eastmoney-Industry-Crawler/main/.github/workflows/update-data.yml)
[![Industries](https://img.shields.io/badge/行业覆盖-86个-green?style=flat-square)]()
[![Metrics](https://img.shields.io/badge/财务指标-6项-blue?style=flat-square)]()

覆盖 **86 个申万二级行业**，支持营业收入、归母净利润、ROE、毛利率、净利率、股息率等 **6 大核心财务指标**，展示近 **5 年年度数据**及近 **3 年季度数据**趋势。

[功能特点](#-功能特点) · [快速开始](#-快速开始) · [在线演示](#-在线演示) · [项目结构](#-项目结构) · [部署指南](#-部署指南)

</div>

---

## 🖼️ 界面预览

---

## ✨ 功能特点

| 功能 | 描述 |
|:---:|:---|
| 🏭 **86 行业全覆盖** | 申万二级行业分类，完整 A 股行业财务数据 |
| 📈 **6 大财务指标** | 营业收入、归母净利润、ROE、毛利率、净利率、股息率 |
| 📅 **5 年历史数据** | 年度数据追溯 5 年，季度数据追溯 3 年 |
| 🔄 **自动定时更新** | GitHub Actions 每月自动抓取最新数据 |
| 📱 **响应式设计** | 完美适配 PC 端和移动端 |
| 🌐 **纯静态部署** | 零后端依赖，GitHub Pages 一键部署 |
| 📊 **交互式图表** | 基于 ECharts 的柱状图 + 折线图组合展示 |
| 📋 **Excel 导出** | 支持将行业数据导出为 Excel 报表 |
| 🖼️ **图表生成** | 自动为 86 个行业生成 PNG 趋势图 |
| 🔍 **行业搜索** | 支持拼音/汉字快速检索行业 |

---

## 📊 支持的财务指标

| 指标 | Key | 说明 | 单位 |
|:---:|:---:|:---|:---:|
| **营业收入** | `revenue` | 企业主营业务收入总额 | 亿元 |
| **归母净利润** | `net_profit` | 归属于母公司股东的净利润 | 亿元 |
| **ROE** | `roe` | 净资产收益率，衡量股东权益回报率 | % |
| **毛利率** | `gross_margin` | (营业收入 - 营业成本) / 营业收入 | % |
| **净利率** | `net_margin` | 净利润 / 营业收入 | % |
| **股息率** | `dividend_yield` | 近 12 个月每股股息 / 当前股价 | % |

---

## 🚀 快速开始

### 环境要求

- **Python 3.11+**
- **Git**

### 1. 克隆项目

```bash
git clone https://github.com/Furinaaa-Cancan/eastmoney-industry-crawler.git
cd eastmoney-industry-crawler
```

### 2. 安装依赖

```bash
pip install -r requirements.txt
```

### 3. 获取数据

```bash
cd scraper
python data_fetcher.py
```

> 首次运行约需 10-15 分钟，会自动抓取 86 个行业的完整财务数据。

### 4. 本地预览

直接在浏览器中打开根目录的 `index.html` 即可查看，无需启动任何服务。

---

## 🌐 在线演示

部署到 GitHub Pages 后即可在线访问：

```
https://furinaaa-cancan.github.io/eastmoney-industry-crawler/
```

---

## 🏗️ 项目结构

```
eastmoney-industry-crawler/
│
├── 📁 .github/workflows/         # CI/CD 自动化
│   └── update-data.yml            # GitHub Actions 每月自动更新
│
├── 📁 scraper/                    # 🐍 数据爬虫模块 (Python)
│   ├── data_fetcher.py            # ⭐ 主入口 - 数据获取调度器
│   ├── industry_scraper.py        # 行业财务数据爬虫（东方财富）
│   ├── data_validator.py          # 数据完整性验证
│   ├── fetch_dividend.py          # 股息率数据采集
│   ├── match_dividend.py          # 股息率 ↔ 行业匹配
│   ├── generate_data_js.py        # JSON → data.js 转换
│   ├── generate_excel.py          # Excel 汇总报表生成
│   ├── generate_excel_separate.py # Excel 分表生成
│   ├── generate_charts.py         # 综合图表生成
│   ├── generate_industry_charts.py# 单行业趋势图生成
│   └── industry_yearly_report.py  # 年度分析报告
│
├── 📁 data/                       # 💾 数据存储
│   ├── industries.json            # 86 个行业代码与名称
│   ├── industry_data.json         # 完整财务数据（~1MB）
│   └── last_update.json           # 数据更新时间戳
│
├── 📁 visualization/              # 📊 可视化模块
│   └── chart_generator.py         # Matplotlib 图表生成器
│
├── 📁 web/                        # 🌐 可选 Web 服务 (Node.js)
│   ├── server.js                  # Express 服务器
│   └── public/                    # 静态资源
│
├── 📁 docs/                       # 📄 GitHub Pages 部署目录
│   ├── index.html
│   └── data.js
│
├── 📁 output/                     # 📤 生成的输出文件
│   ├── 行业图表/                   # 86 个行业 PNG 趋势图
│   └── *.xlsx                     # Excel 汇总报表
│
├── index.html                     # 🏠 前端主页面（React + ECharts）
├── data.js                        # 📦 前端数据（自动生成）
├── config.json                    # ⚙️ 项目配置
├── update_data.sh                 # 🔧 Linux/Mac 更新脚本
├── update_server.py               # 🖥️ 更新服务器
└── 更新数据.command                # 🍎 macOS 双击更新
```

---

## 🛠️ 技术栈

<table>
  <tr>
    <th>模块</th>
    <th>技术</th>
    <th>用途</th>
  </tr>
  <tr>
    <td><b>数据爬取</b></td>
    <td><img src="https://img.shields.io/badge/Python-3776AB?style=flat-square&logo=python&logoColor=white"/> <img src="https://img.shields.io/badge/Requests-FF6F00?style=flat-square"/> <img src="https://img.shields.io/badge/Pandas-150458?style=flat-square&logo=pandas&logoColor=white"/></td>
    <td>从东方财富抓取行业财务数据</td>
  </tr>
  <tr>
    <td><b>前端界面</b></td>
    <td><img src="https://img.shields.io/badge/React-61DAFB?style=flat-square&logo=react&logoColor=black"/> <img src="https://img.shields.io/badge/ECharts-AA344D?style=flat-square&logo=apache-echarts&logoColor=white"/></td>
    <td>响应式交互界面 + 数据图表</td>
  </tr>
  <tr>
    <td><b>数据存储</b></td>
    <td><img src="https://img.shields.io/badge/JSON-000000?style=flat-square&logo=json&logoColor=white"/> <img src="https://img.shields.io/badge/Excel-217346?style=flat-square&logo=microsoft-excel&logoColor=white"/></td>
    <td>结构化数据持久化与报表输出</td>
  </tr>
  <tr>
    <td><b>可视化</b></td>
    <td><img src="https://img.shields.io/badge/Matplotlib-11557C?style=flat-square"/> <img src="https://img.shields.io/badge/ECharts-AA344D?style=flat-square&logo=apache-echarts&logoColor=white"/></td>
    <td>静态图表（PNG）与交互式图表</td>
  </tr>
  <tr>
    <td><b>自动化</b></td>
    <td><img src="https://img.shields.io/badge/GitHub_Actions-2088FF?style=flat-square&logo=github-actions&logoColor=white"/></td>
    <td>每月定时数据更新与部署</td>
  </tr>
  <tr>
    <td><b>部署</b></td>
    <td><img src="https://img.shields.io/badge/GitHub_Pages-222222?style=flat-square&logo=github&logoColor=white"/></td>
    <td>纯静态站点，零运维成本</td>
  </tr>
</table>

---

## 🔄 数据更新

### 自动更新（推荐）

项目通过 GitHub Actions 实现自动化数据更新：

- **触发时间**：每月 1 号北京时间 08:00
- **执行流程**：抓取数据 → 验证 → 生成 data.js → 自动提交
- **手动触发**：前往 Actions 页面点击 `Run workflow`

### 手动更新

<details>
<summary><b>macOS</b></summary>

```bash
# 方式 1：双击运行
open 更新数据.command

# 方式 2：命令行
./update_data.sh

# 方式 3：直接执行
cd scraper && python data_fetcher.py
```
</details>

<details>
<summary><b>Linux</b></summary>

```bash
./update_data.sh
# 或
cd scraper && python data_fetcher.py
```
</details>

<details>
<summary><b>Windows</b></summary>

```bash
cd scraper
python data_fetcher.py
```
</details>

```bash
# 每月 1 号凌晨 3 点自动更新
0 3 1 * * cd /path/to/eastmoney-industry-crawler/scraper && python data_fetcher.py
```
</details>

---

## 🚢 部署指南

### GitHub Pages（推荐）

1. Fork 或推送项目到你的 GitHub 仓库
2. 进入 **Settings → Pages**
3. Source 选择 `Deploy from a branch`
4. Branch 选择 `main`，目录选择 `/docs`
5. 等待部署完成，访问 `https://<username>.github.io/<repo>/`

### 静态服务器

只需部署两个文件即可运行：

```
index.html    # 前端页面
data.js       # 数据文件
```

支持 Nginx、Apache、Caddy 或任意静态文件服务器。

---

## ⚙️ 配置说明

项目配置位于 `config.json`：

```jsonc
{
  "scraper": {
    "minThreads": 2,        // 并发线程下限
    "maxThreads": 8,        // 并发线程上限
    "retryCount": 3,        // 失败重试次数
    "requestTimeout": 30,   // 单次请求超时（秒）
    "delayMin": 0.5,        // 请求间隔下限（秒）
    "delayMax": 2.0         // 请求间隔上限（秒）
  },
  "data": {
    "backupCount": 5,       // 数据备份保留份数
    "annualYears": 5,       // 年度数据追溯年数
    "quarterlyYears": 3     // 季度数据追溯年数
  }
}
```

---

## 🧑‍💻 开发指南

### 添加新的财务指标

1. 在 `scraper/data_fetcher.py` 中添加数据获取逻辑
2. 在 `scraper/generate_data_js.py` 中添加数据转换映射
3. 在 `index.html` 的 `METRICS` 对象中注册新指标

### 数据验证

```bash
cd scraper && python data_validator.py
```

### 生成 Excel 报表

```bash
cd scraper && python generate_excel.py
```

### 生成行业图表

```bash
cd scraper && python generate_industry_charts.py
```

---

## 📤 输出文件

| 类型 | 路径 | 说明 |
|:---:|:---|:---|
| 📊 图表 | `output/行业图表/*.png` | 86 个行业财务趋势图（PNG） |
| 📋 报表 | `output/86行业_年度归母净利润_*.xlsx` | 年度归母净利润汇总 |
| 📋 报表 | `output/86行业_年度营业收入_*.xlsx` | 年度营业收入汇总 |

---

## ⚠️ 免责声明

- 本项目所展示的数据**仅供参考**，不构成任何投资建议
- 数据来源于 [东方财富](https://data.eastmoney.com)，准确性以官方数据为准
- 使用本项目产生的任何投资损失，开发者不承担任何责任
- 请遵守数据来源网站的使用条款和相关法律法规

---

## 🤝 贡献

欢迎提交 Issue 和 Pull Request！

1. Fork 本仓库
2. 创建功能分支 (`git checkout -b feature/amazing-feature`)
3. 提交修改 (`git commit -m 'Add amazing feature'`)
4. 推送分支 (`git push origin feature/amazing-feature`)
5. 发起 Pull Request

---

## 📄 License

本项目基于 [MIT License](LICENSE) 开源。

---

**如果这个项目对你有帮助，请给一个 ⭐ Star 支持一下！**

Made with ❤️ by [Cancan](https://github.com/Furinaaa-Cancan)

</div>

Eastmoney-Industry-Crawler

Eastmoney-Industry-Crawler 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Eastmoney-Industry-Crawler

Eastmoney-Industry-Crawler 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README