playwright-go-crossbrowser-template

KO | EN

gitlite — search

#javascript #python #hacktoberfest #ai #go #golang #machine-learning #linux #macos #kubernetes #awesome-list #pytorch #openai #open-source

playwright-go-crossbrowser-template

(★ 10)

playwright-go-crossbrowser-template

playwright-go-crossbrowser-template Latest Version Download

Download Latest Version (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Playwright Go 跨浏览器自动化框架

一个基于 Playwright 和 Go 语言构建的高性能跨浏览器自动化测试框架，具有资源池管理、监控集成和可扩展架构。

详细的内容介绍全在微信公众号中。干货持续更新，敬请关注「代码扳手」微信公众号：

![License](https://img.shields.io/github/license/playwright-community/playwright-go)
![Go Version](https://img.shields.io/github/go-mod/go-version/playwright-community/playwright-go)
![Platform](https://img.shields.io/badge/platform-windows%20%7C%20linux%20%7C%20macos-lightgrey)

## 目录

- [特性](#特性)
- [架构概述](#架构概述)
- [快速开始](#快速开始)
- [配置说明](#配置说明)
- [API接口](#api接口)
- [监控集成](#监控集成)
- [部署](#部署)
- [开发指南](#开发指南)
- [贡献](#贡献)
- [许可证](#许可证)

## 特性

- 🚀 **高性能浏览器池管理**：复用浏览器实例和上下文，显著提高执行效率
- 🔧 **智能资源回收**：自动清理空闲资源，防止内存泄漏
- 📊 **内置监控集成**：通过 Prometheus 和 Grafana 实现实时监控
- 🌐 **代理支持**：支持 HTTP 代理轮询，适用于复杂网络环境
- ⚙️ **灵活配置**：通过环境变量轻松调整各项参数
- 🛠️ **优雅关闭**：支持 SIGINT/SIGTERM 信号，确保任务完整执行
- 📈 **任务重试机制**：自动重试失败任务，提高稳定性
- 🌍 **Web UI 控制台**：提供简单的 REST API 接口进行任务管理

## 架构概述

本框架采用分层架构设计，主要包括以下几个核心组件：

1. **浏览器池管理 (BrowserPool)**：管理多个浏览器实例及其上下文，实现资源高效利用
2. **任务执行引擎 (TaskRunner)**：负责任务调度、执行和重试机制
3. **监控系统**：集成 Prometheus 指标收集和 Grafana 可视化面板
4. **Web 控制台**：提供 RESTful API 接口用于健康检查和任务管理
5. **配置管理**：支持通过环境变量动态配置各项参数

## 快速开始

### 环境要求

- Go 1.21+
- Chromium 浏览器（可通过 Docker 或系统安装）

### 安装依赖

```bash
go mod tidy
```

### 运行应用

```bash
go run .
```

应用启动后会监听以下端口：
- Web UI: http://localhost:8080
- Metrics: http://localhost:9090/metrics

## 配置说明

框架支持通过环境变量进行配置：

| 环境变量 | 默认值 | 说明 |
|---------|--------|------|
| `BROWSER_POOL_SIZE` | 6 | 浏览器池初始大小 |
| `CONTEXT_POOL_SIZE` | 5 | 每个浏览器的上下文池大小 |
| `WORKER_COUNT` | 4 | 并发工作协程数 |
| `TASK_QUEUE_SIZE` | 100 | 任务队列缓冲区大小 |
| `TASK_TIMEOUT` | 30s | 任务执行超时时间 |
| `HARD_TIMEOUT` | 60s | 任务强制终止超时时间 |
| `MAX_RETRIES` | 3 | 任务最大重试次数 |
| `PROXIES` | - | HTTP 代理地址列表（逗号分隔） |
| `WEB_UI_ADDR` | :8080 | Web UI 监听地址 |
| `METRICS_ADDR` | :9090 | Metrics 监听地址 |
| `MONITORING_INTERVAL` | 30s | 监控检查间隔 |
| `CONTEXT_IDLE_TTL` | 5m | 上下文空闲超时时间 |

示例配置：
```bash
export WORKER_COUNT=8
export TASK_TIMEOUT=60s
go run .
```

## API接口

框架提供以下 RESTful API 接口：

### GET /health
健康检查接口
```bash
curl http://localhost:8080/health
```

### GET /proxy_count
获取当前可用代理数量
```bash
curl http://localhost:8080/proxy_count
```

### GET /browser_pool_status
获取浏览器池状态信息
```bash
curl http://localhost:8080/browser_pool_status
```

### POST /enqueue
向任务队列添加示例任务
```bash
curl -X POST http://localhost:8080/enqueue
```

## 监控集成

框架集成了 Prometheus 指标收集和 Grafana 可视化：

### 启动监控栈

```bash
docker-compose up
```

访问 Grafana: http://localhost:3000 (默认用户名/密码: admin/admin)

### 可用指标

1. `automation_task_duration_seconds` - 任务执行时间直方图
2. `automation_task_retries_total` - 任务重试总次数
3. `browser_pool_size` - 浏览器池大小
4. `browser_context_pool_size` - 浏览器上下文池大小
5. `browser_contexts_available` - 可用浏览器上下文数量

## 部署

### Docker 部署

构建镜像：
```bash
docker build -t playwright-crossbrowser .
```

运行容器：
```bash
docker run -p 8080:8080 -p 9090:9090 playwright-crossbrowser
```

### Linux 服务部署

创建 systemd 服务文件 `/etc/systemd/system/playwright-crossbrowser.service`：
```ini
[Unit]
Description=Playwright Cross-Browser Automation
After=network.target

[Service]
Type=simple
User=your-user
WorkingDirectory=/path/to/app
ExecStart=/path/to/app/main
Restart=always
Environment=WORKER_COUNT=8

[Install]
WantedBy=multi-user.target
```

启用并启动服务：
```bash
sudo systemctl enable playwright-crossbrowser
sudo systemctl start playwright-crossbrowser
```

## 开发指南

### 创建自定义任务

要创建自定义任务，需要实现 [task](file:///G:/playwright-go-crossbrowser-template/types.go#L19-L19) 函数类型：

```go
type task func(ctx context.Context, page playwright.Page) error
```

示例任务实现：
```go
func MyCustomTask(ctx context.Context, page playwright.Page) error {
    // 设置视口大小
    if err := page.SetViewportSize(1920, 1080); err != nil {
        return err
    }

// 导航到目标网站
    if _, err := page.Goto("https://example.com"); err != nil {
        return err
    }

// 执行具体操作
    // ...

return nil
}
```

然后将任务添加到任务队列：
```go
tasks <- MyCustomTask
```

### 扩展浏览器池功能

可以通过修改 [BrowserPool](file:///G:/playwright-go-crossbrowser-template/browser_pool.go#L15-L21) 结构体和相关方法来扩展浏览器池功能。

playwright-go-crossbrowser-template

playwright-go-crossbrowser-template Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

playwright-go-crossbrowser-template

playwright-go-crossbrowser-template Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

Download README