crawler

KO | EN

gitlite — search

#python #typescript #llm #golang #go #android #deep-learning #docker #macos #cli #kubernetes #awesome-list #mcp #openai

(★ 10)

网站数据抓取

crawler 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# crawler

[![Build Status](https://travis-ci.org/libbit702/crawler.svg?branch=master)](https://travis-ci.org/libbit702/crawler)  [![codecov](https://codecov.io/gh/libbit702/crawler/branch/master/graph/badge.svg)](https://codecov.io/gh/libbit702/crawler)  ![](https://img.shields.io/badge/language-php-blue.svg)

### 简介
抓取各信息平台的工具，核心机制源于对网站请求的抓包和网页结构的解析处理，各平台抓取功能可能随着网站改版或接口下线导致不可用，测试方面已添加[travis-ci](https://travis-ci.org) 和[codecov](https://codecov.io), 建议fork后使用travis快速验证有效性

### Prerequisites

* [PHP 5.6](http://php.net)
* [PHPUnit 5.7](http://www.phpunit.cn/) - Optional
* [php-code-coverage](https://github.com/sebastianbergmann/php-code-coverage) - Optional

## 支持站点

| Site | URL | 视频过滤? | 图片数过滤? | 关键词过滤? | 发布时间过滤? |
| :--: | :-- | :-----: | :-----: | :-----: | :-----: |
| **Weibo账号** | <http://weibo.com/>    |✓|✓|✓|x|
| **Weibo搜索** | <http://weibo.com/>    |✓|✓|✓|x|
| **Weibo话题** | <http://weibo.com/>    |✓|✓|✓|x|
| **Twitter搜索** | <http://twitter.com/>    |✓|✓|✓|✓|
| **Twitter账号** | <http://twitter.com/>    |✓|✓|✓|✓|
| **Instagram搜索** | <https://instagram.com/>    |✓|x|✓|✓|
| **Instagram账号** | <https://instagram.com/>    |✓|x|✓|✓|
| **Bilibili搜索** | <http://bilibili.tv/>    |x|x|x|x|
| **Bilibili账号** | <http://bilibili.tv/>    |x|x|x|x|
| **Bilibili视频集** | <http://bilibili.tv/>    |x|x|x|x|
| **Vlive** | <http://www.vlive.tv/>    |x|x|x|✓|
| **Youtube** | <http://www.youtube.com/>    |x|x|x|✓|
| **豆瓣豆列** | <https://m.douban.com/>    |x|x|x|x|
| **搜狗微信-公众号文章** | <http://weixin.sogou.com/>    |x|x|✓|✓|
| **音悦台搜索** | <http://yinyuetai.com/>    |x|x|✓|✓|

## 使用说明

### 基本用法

引入想要抓取网站对应的类文件，实例化后传入抓取配置参数，执行抓取

```
require_once("class.weibo.search.php");
$crawler = new CrawlerWeiboSearch();
$crawler->setConfig([
 	'keywords' => ['DOTA2'],
 	'debug' => true,
 	'keyword_check' => ['魔兽争霸'],
]);
$crawler->prepareCrawl();
$crawler->executeCrawl();
```

### 测试用例

建议使用travis-ci

### Weibo指定账号数据抓取

### Weibo搜索抓取

### Weibo指定话题数据抓取

### Twitter搜索抓取

### Twitter指定账号数据抓取

### Instagram搜索抓取

### Instagram指定账号数据抓取

### Bilibili检索抓取

### Bilibili账号抓取

### Bilibili视频集

| 参数名称 | 数据类型 | 说明 |
| :--: | :-- | :-- |
| ids |array|B站视频集的ID|

### Youtube

| 参数名称 | 数据类型 | 说明 |
| :--: | :-- | :-- |
| ids |array|youtube视频的ID|

### Vlive抓取

```
注意：返回的videos字段是视频播放地址数据对应接口地址，返回JSON数据；‘要获得真实可播放视频地址，需要额外一步网络IO操作
```

### 豆瓣豆列

| 参数名称 | 数据类型 | 说明 |
| :--: | :-- | :-- |
| ids |array|豆列的ID,<https://m.douban.com/doulist/2943106/>|
| page |int|期望抓取页数,wap页单页25条数据|

### 搜狗微信搜索-公众号文章

### 音悦台检索抓取

crawler

crawler 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

crawler

crawler 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README