crawl4ai

KO | EN

gitlite — search

#javascript #ai #golang #go #machine-learning #rust #linux #nodejs #java #awesome #cli #pytorch #security #ios

(★ 78,364)

🚀🤖 Crawl4AI: 오픈소스 LLM 친화적 웹 크롤러 & 스크레이퍼. 망설이지 말고 참여하세요: https://discord.gg/jP8KfhDhyN

crawl4ai 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# 🚀🤖 Crawl4AI: 오픈소스 LLM 친화적 웹 크롤러 및 스크레이퍼.

[![GitHub Stars](https://img.shields.io/github/stars/unclecode/crawl4ai?style=social)](https://github.com/unclecode/crawl4ai/stargazers)
[![GitHub Forks](https://img.shields.io/github/forks/unclecode/crawl4ai?style=social)](https://github.com/unclecode/crawl4ai/network/members)

[![PyPI version](https://badge.fury.io/py/crawl4ai.svg)](https://badge.fury.io/py/crawl4ai)
[![Python Version](https://img.shields.io/pypi/pyversions/crawl4ai)](https://pypi.org/project/crawl4ai/)
[![Downloads](https://static.pepy.tech/badge/crawl4ai/month)](https://pepy.tech/project/crawl4ai)
[![GitHub Sponsors](https://img.shields.io/github/sponsors/unclecode?style=flat&logo=GitHub-Sponsors&label=Sponsors&color=pink)](https://github.com/sponsors/unclecode)

---
#### 🚀 Crawl4AI Cloud API — 클로즈드 베타 (출시 예정)
기존의 어떤 솔루션보다 _**압도적으로 비용 효율적인**_ 방식으로 설계된 안정적인 대규모 웹 데이터 추출 서비스입니다.

👉 **얼리 액세스 [신청하기](https://forms.gle/E9MyPaNXACnAMaqG7)**  
_단계별로 온보딩을 진행하며 얼리 사용자분들과 긴밀하게 협력할 예정입니다.  
슬롯이 한정되어 있습니다._

---

Crawl4AI는 RAG, 에이전트, 데이터 파이프라인을 위해 웹사이트를 LLM이 바로 활용할 수 있는 깔끔한 Markdown 형태로 변환해 줍니다. 빠르고 제어가 간편하며, 5만 개 이상의 스타(Star)를 받은 커뮤니티를 통해 검증되었습니다.

[✨ 최신 업데이트 v0.9.2 확인하기](#-recent-updates)

✨ **v0.9.2 신규 기능**: 유지보수 패치 릴리스입니다. 스트리밍 크롤링 종료 시 발생하는 `MemoryAdaptiveDispatcher` 태스크/페이지 누수 문제, Docker Playground의 "Advanced Config" 및 Monitor WebSocket 인증 문제, Playwright 헤드리스 셸 패키징, 그리고 GPU(`ENABLE_GPU=true`) Docker 빌드 문제를 수정했습니다. [릴리스 노트 →](https://github.com/unclecode/crawl4ai/blob/main/docs/blog/release-v0.9.2.md)

✨ 최근 v0.9.0: Docker API 서버의 기본 보안 강화(Secure-by-Default) 주요 릴리스입니다. 인증이 기본으로 활성화되며, 토큰이 제공되지 않으면 서버가 루프백(loopback)에 바인딩되고, 요청 본문(request body)이 신뢰할 수 없는 경계로 취급됩니다. [릴리스 노트 →](https://github.com/unclecode/crawl4ai/blob/main/docs/blog/release-v0.9.0.md)

✨ 최근 v0.8.7: 보안 강화 릴리스입니다. 중요한 Docker API 취약점(RCE, SSRF, 인증 우회, 파일 쓰기, XSS, 하드코딩된 JWT 시크릿)을 수정하고 DomainMapper를 추가했으며, 스크레이핑, 딥 크롤링 및 LLM 수정 사항을 반영했습니다. [릴리스 노트 →](https://github.com/unclecode/crawl4ai/blob/main/docs/blog/release-v0.8.7.md)

✨ 이전 v0.8.0: 크래시 복구 및 프리페치(Prefetch) 모드 추가! 장기 실행 크롤링을 위한 `resume_state` 및 `on_state_change` 콜백을 통한 딥 크롤 크래시 복구 기능이 추가되었습니다. 또한 URL 탐색 속도를 5~10배 빠르게 만들어주는 새로운 `prefetch=True` 모드가 도입되었습니다. [릴리스 노트 →](https://github.com/unclecode/crawl4ai/blob/main/docs/blog/release-v0.8.0.md)

✨ 이전 v0.7.8: 안정성 및 버그 수정 릴리스! Docker API 문제, LLM 추출 개선, URL 처리 수정, 의존성 업데이트와 관련된 11개의 버그가 수정되었습니다. [릴리스 노트 →](https://github.com/unclecode/crawl4ai/blob/main/docs/blog/release-v0.7.8.md)

저는 아버지 덕분에 Amstrad 컴퓨터를 접하며 자랐고 개발을 멈춘 적이 없습니다. 대학원 시절에는 NLP를 전공하며 연구용 크롤러를 만들었고, 그때 데이터 추출이 얼마나 중요한지 몸소 깨달았습니다.

2023년 당시 웹사이트를 Markdown으로 변환할 일이 있었는데, 기존의 "오픈소스" 솔루션은 계정과 API 토큰, 그리고 16달러를 요구하면서도 결과는 엉망이었습니다. 극심한 분노를 느낀 저는 며칠 만에 Crawl4AI를 만들었고, 이는 엄청난 바이럴을 일으켰습니다. 현재는 GitHub에서 가장 많은 스타를 받은 크롤러가 되었습니다.

누구나 장벽 없이 사용할 수 있도록 **접근성(Availability)**을 위해 오픈소스로 공개했습니다. 이제는 누구나 비용 부담 없이 본격적인 크롤링을 수행할 수 있도록 **경제성(Affordability)**을 갖춘 플랫폼을 만들어가고 있습니다. 이 비전에 공감하신다면 커뮤니티에 참여하고 피드백을 보내주시거나, 멋진 데이터를 크롤링해 보세요.
</details>

<details>
 <summary>개발자들이 Crawl4AI를 선택하는 이유</summary>

- **LLM 친화적 출력**, 제목, 표, 코드, 인용 힌트가 포함된 스마트 Markdown
- **실제 사용 시 빠른 속도**, 비동기 브라우저 풀, 캐싱, 최소한의 홉(hop)
- **완벽한 제어**, 세션, 프록시, 쿠키, 유저 스크립트, 훅(hook)
- **적응형 지능**, 사이트 패턴 학습 및 꼭 필요한 부분만 탐색
- **어디서나 배포 가능**, 키 불필요, CLI 및 Docker 지원, 클라우드 친화적
</details>

## 🚀 빠른 시작 (Quick Start)

1. Crawl4AI 설치:
```bash
# 패키지 설치
pip install -U crawl4ai

# 프리릴리스(Pre-release) 버전 설치
pip install crawl4ai --pre

# 설치 후 설정 실행
crawl4ai-setup

# 설치 확인
crawl4ai-doctor
```

브라우저 관련 문제가 발생하는 경우 수동으로 설치할 수 있습니다:
```bash
python -m playwright install --with-deps chromium
```

2. Python으로 간단한 웹 크롤링 실행:
```python
import asyncio
from crawl4ai import *

async def main():
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(
            url="https://www.nbcnews.com/business",
        )
        print(result.markdown)

if __name__ == "__main__":
    asyncio.run(main())
```

3. 또는 새로운 명령줄 인터페이스(CLI) 사용:
```bash
# Markdown 출력과 함께 기본 크롤링 실행
crwl https://www.nbcnews.com/business -o markdown

# BFS 전략을 사용한 최대 10페이지 딥 크롤링
crwl https://docs.crawl4ai.com --deep-crawl bfs --max-pages 10

# 특정 질문과 함께 LLM 추출 기능 사용
crwl https://www.example.com/products -q "Extract all product prices"
```

## 💖 Crawl4AI 후원하기 (Support Crawl4AI)

> 🎉 **스폰서십 프로그램 오픈!** 5만 1천 명 이상의 개발자를 지원하고 1년간의 성장을 거친 Crawl4AI가 **스타트업** 및 **기업**을 위한 전용 지원 프로그램을 시작합니다. 최초 50명의 **창립 스폰서(Founding Sponsors)**가 되어 명예의 전당에 영구적으로 이름을 올리세요.

Crawl4AI는 GitHub에서 가장 트렌디한 오픈소스 웹 크롤러입니다. 여러분의 후원을 통해 커뮤니티를 위해 독립적이고 혁신적이며 무료로 유지될 수 있으며, 프리미엄 혜택을 직접 누리실 수 있습니다.

<div align="">
 
[![Become a Sponsor](https://img.shields.io/badge/Become%20a%20Sponsor-pink?style=for-the-badge&logo=github-sponsors&logoColor=white)](https://github.com/sponsors/unclecode) 
[![Current Sponsors](https://img.shields.io/github/sponsors/unclecode?style=for-the-badge&logo=github&label=Current%20Sponsors&color=green)](https://github.com/sponsors/unclecode)

</div>

### 🤝 스폰서십 등급

- **🌱 Believer ($5/mo)** — 데이터 민주화 운동 동참  
- **🚀 Builder ($50/mo)** — 우선 지원 및 신기능 얼리 액세스  
- **💼 Growing Team ($500/mo)** — 격주 싱크 및 최적화 지원  
- **🏢 Data Infrastructure Partner ($2000/mo)** — 전담 지원이 포함된 정식 파트너십  
  *맞춤형 조율 가능 - 자세한 내용 및 연락처는 [SPONSORS.md](SPONSORS.md) 참고*

**왜 후원해야 할까요?**  
속도 제한(Rate-limit) 없는 API. 락인(Lock-in) 없음. Crawl4AI 창시자의 직접적인 가이드와 함께 나만의 데이터 파이프라인을 구축하고 소유하세요.

[모든 등급 및 혜택 보기 →](https://github.com/sponsors/unclecode)

## ✨ 주요 기능 (Features)

<details>
<summary>📝 Markdown 생성</summary>

- 🧹 **깔끔한 Markdown**: 정확한 포맷과 함께 깔끔하고 구조화된 Markdown을 생성합니다.
- 🎯 **맞춤형(Fit) Markdown**: AI 친화적인 처리를 위해 노이즈와 불필요한 부분을 제거하는 휴리스틱 기반 필터링입니다.
- 🔗 **인용 및 참고 자료**: 페이지 링크를 깔끔한 인용과 함께 번호가 매겨진 참고 문헌 목록으로 변환합니다.
- 🛠️ **맞춤형 전략**: 사용자가 특정 요구에 맞춘 자신만의 Markdown 생성 전략을 만들 수 있습니다.
- 📚 **BM25 알고리즘**: 핵심 정보를 추출하고 불필요한 콘텐츠를 제거하기 위해 BM25 기반 필터링을 적용합니다. 
</details>

- 🤖 **LLM 구동 추출**: 구조화된 데이터 추출을 위해 모든 LLM(오픈소스 및 프라이프리터리)을 지원합니다.
- 🧱 **청킹(Chunking) 전략**: 타겟 콘텐츠 처리를 위해 청킹(주제 기반, 정규표현식, 문장 수준)을 구현합니다.
- 🌌 **코사인 유사도(Cosine Similarity)**: 의미론적 추출을 위해 사용자 쿼리를 기반으로 관련 콘텐츠 청크를 찾습니다.
- 🔎 **CSS 기반 추출**: XPath 및 CSS 선택기를 사용한 빠른 스키마 기반 데이터 추출입니다.
- 🔧 **스키마 정의**: 반복되는 패턴에서 구조화된 JSON을 추출하기 위한 커스텀 스키마를 정의합니다.

</details>

- 🖥️ **관리형 브라우저**: 봇 탐지를 회피하며 완벽한 제어가 가능한 사용자 소유 브라우저를 사용합니다.
- 🔄 **원격 브라우저 제어**: 원격 대규모 데이터 추출을 위해 Chrome Developer Tools Protocol에 연결합니다.
- 👤 **브라우저 프로파일러**: 저장된 인증 상태, 쿠키 및 설정이 포함된 영구 프로필을 생성하고 관리합니다.
- 🔒 **세션 관리**: 브라우저 상태를 보존하고 다단계 크롤링에 재사용합니다.
- 🧩 **프록시 지원**: 보안 액세스를 위해 인증이 포함된 프록시에 원활하게 연결합니다.
- ⚙️ **완벽한 브라우저 제어**: 맞춤형 크롤링 설정을 위해 헤더, 쿠키, 사용자 에이전트 등을 수정합니다.
- 🌍 **멀티 브라우저 지원**: Chromium, Firefox, WebKit과 호환됩니다.
- 📐 **동적 뷰포트 조정**: 페이지 콘텐츠에 맞게 브라우저 뷰포트를 자동으로 조정하여 모든 요소의 완전한 렌더링과 캡처를 보장합니다.

</details>

<details>
<summary>🔎 크롤링 및 스크레이핑</summary>

- 🖼️ **미디어 지원**: 이미지, 오디오, 비디오 및 `srcset`, `picture`와 같은 반응형 이미지 포맷을 추출합니다.
- 🚀 **동적 크롤링**: 동적 콘텐츠 추출을 위해 JS를 실행하고 비동기 또는 동기 방식을 대기합니다.
- 📸 **스크린샷**: 디버깅이나 분석을 위해 크롤링 중 페이지 스크린샷을 캡처합니다.
- 📂 **원시 데이터 크롤링**: 원시 HTML(`raw:`) 또는 로컬 파일(`file://`)을 직접 처리합니다.
- 🔗 **포괄적인 링크 추출**: 내부, 외부 링크 및 임베디드 iframe 콘텐츠를 추출합니다.
- 🛠️ **커스터마이징 가능한 훅(Hooks)**: 크롤링 동작을 커스터마이즈하기 위해 모든 단계에서 훅을 정의합니다(문자열 및 함수 기반 API 모두 지원).
- 💾 **캐싱**: 속도를 개선하고 중복 페치를 방지하기 위해 데이터를 캐시합니다.
- 📄 **메타데이터 추출**: 웹페이지에서 구조화된 메타데이터를 검색합니다.
- 📡 **IFrame 콘텐츠 추출**: 임베디드 iframe 콘텐츠를 원활하게 추출합니다.
- 🕵️ **지연 로딩(Lazy Load) 처리**: 이미지가 완전히 로드될 때까지 기다려 지연 로딩으로 인한 콘텐츠 누락을 방지합니다.
- 🔄 **전체 페이지 스크네닝**: 스크롤을 시뮬레이션하여 모든 동적 콘텐츠를 로드하고 캡처하며, 무한 스크롤 페이지에 완벽합니다.

</details>

<details>
<summary>🚀 배포 (Deployment)</summary>

- 🐳 **Dockerized 설정**: 쉬운 배포를 위해 FastAPI 서버가 포함된 최적화된 Docker 이미지를 제공합니다.
- 🔑 **보안 인증**: API 보안을 위한 내장 JWT 토큰 인증을 지원합니다.
- 🔄 **API 게이트웨이**: API 기반 워크플로우를 위해 보안 토큰 인증을 통한 원클릭 배포를 지원합니다.
- 🌐 **확장 가능한 아키텍처**: 대규모 프로덕션 및 최적화된 서버 성능을 위해 설계되었습니다.
- ☁️ **클라우드 배포**: 주요 클라우드 플랫폼을 위한 즉시 배포 가능한 설정을 제공합니다.

</details>

- 🕶️ **스텔스 모드**: 실제 사용자를 모방하여 봇 탐지를 회피합니다.
- 🏷️ **태그 기반 콘텐츠 추출**: 커스텀 태그, 헤더, 메타데이터를 기반으로 크롤링을 정밀하게 제어합니다.
- 🔗 **링크 분석**: 상세한 데이터 탐색을 위해 모든 링크를 추출하고 분석합니다.
- 🛡️ **오류 처리**: 원활한 실행을 위한 강력한 오류 관리 기능을 제공합니다.
- 🔐 **CORS 및 정적 서빙**: 파일 시스템 기반 캐싱 및 교차 출처 요청(CORS)을 지원합니다.
- 📖 **명확한 문서**: 온보딩 및 고급 사용법을 위한 단순화되고 최적화된 가이드를 제공합니다.
- 🙌 **커뮤니티 기여 인정**: 투명성을 위해 기여자 및 풀 리퀘스트를 명시합니다.

</details>

## 지금 바로 시도해 보세요! (Try it Now!)

✨ 다음 링크에서 직접 실행해 보세요: [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/drive/1SgRPrByQLzjRfwoRNq1wSGE9nYY_EE8C?usp=sharing)

✨ 공식 [문서 웹사이트](https://docs.crawl4ai.com/)를 방문해 보세요.

## 설치 방법 (Installation) 🛠️

Crawl4AI는 다양한 사용 사례에 맞게 유연한 설치 옵션을 제공합니다. Python 패키지 또는 Docker를 사용하여 설치할 수 있습니다.

자신에게 가장 적합한 설치 옵션을 선택하세요:

### 기본 설치

기본적인 웹 크롤링 및 스크레이핑 작업용:

```bash
pip install crawl4ai
crawl4ai-setup # 브라우저 설정
```

기본적으로 이는 Playwright를 사용하는 Crawl4AI의 비동기 버전을 설치합니다.

👉 **참고**: Crawl4AI를 설치할 때 `crawl4ai-setup`이 Playwright를 자동으로 설치하고 설정해야 합니다. 하지만 Playwright 관련 오류가 발생하는 경우 다음 방법 중 하나로 수동 설치할 수 있습니다:

1. 명령줄을 통해 설치:

```bash
   playwright install
   ```

2. 위 방법이 작동하지 않는 경우, 다음의 구체적인 명령어를 시도해 보세요:

```bash
   python -m playwright install chromium
   ```

두 번째 방법이 일부 환경에서 더 안정적인 것으로 확인되었습니다.

---

### 동기(Synchronous) 버전 설치

동기 버전은 더 이상 권장되지 않으며(deprecated) 향후 버전에서 제거될 예정입니다. Selenium을 사용하는 동기 버전이 반드시 필요한 경우:

```bash
pip install crawl4ai[sync]
```

---

### 개발자용 설치

소스 코드를 수정하려는 기여자용:

```bash
git clone https://github.com/unclecode/crawl4ai.git
cd crawl4ai
pip install -e .                    # 편집 가능한 모드로 기본 설치
```

선택적 기능 설치:

```bash
pip install -e ".[torch]"           # PyTorch 기능 포함
pip install -e ".[transformer]"     # Transformer 기능 포함
pip install -e ".[cosine]"          # 코사인 유사도 기능 포함
pip install -e ".[sync]"            # 동기 크롤링(Selenium) 포함
pip install -e ".[all]"             # 모든 선택적 기능 설치
```

</details>

<details>
<summary>🐳 Docker 배포</summary>

> 🚀 **출시 완료!** 완전히 새롭게 디자인된 Docker 구현 버전이 출시되었습니다! 이번 신규 솔루션을 통해 배포가 그 어느 때보다 효율적이고 원활해졌습니다.

### 새로운 Docker 기능

새로운 Docker 구현에는 다음 기능이 포함되어 있습니다:
- 라이브 시스템 메트릭 및 브라우저 풀 가시성을 제공하는 **실시간 모니터링 대시보드**
- 더 빠른 응답 시간을 위한 페이지 사전 워밍(pre-warming) 기능이 있는 **브라우저 풀링**
- 요청 코드를 테스트하고 생성할 수 있는 **인터랙티브 플레이그라운드**
- Claude Code와 같은 AI 도구에 직접 연결할 수 있는 **MCP 통합**
- HTML 추출, 스크린샷, PDF 생성, JavaScript 실행을 포함한 **포괄적인 API 엔드포인트**
- 자동 감지(AMD64/ARM64)를 지원하는 **멀티 아키텍처 지원**
- 향상된 메모리 관리를 통한 **최적화된 리소스**

### 시작하기

```bash
# 최신 릴리스 풀 및 실행
docker pull unclecode/crawl4ai:latest
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:latest

# http://localhost:11235/dashboard 에서 모니터링 대시보드 확인
# 또는 http://localhost:11235/playground 에서 플레이그라운드 확인
```

### 빠른 테스트

빠른 테스트 실행 (두 Docker 옵션 모두에 작동함):

```python
import requests

# 크롤링 작업 제출
response = requests.post(
    "http://localhost:11235/crawl",
    json={"urls": ["https://example.com"], "priority": 10}
)
if response.status_code == 200:
    print("Crawl job submitted successfully.")
    
if "results" in response.json():
    results = response.json()["results"]
    print("Crawl job completed. Results:")
    for result in results:
        print(result)
else:
    task_id = response.json()["task_id"]
    print(f"Crawl job submitted. Task ID:: {task_id}")
    result = requests.get(f"http://localhost:11235/task/{task_id}")
```

더 많은 예제는 [Docker 예제](https://github.com/unclecode/crawl4ai/blob/main/docs/examples/docker_example.py)를 참고하세요. 고급 설정, 모니터링 기능 및 프로덕션 배포에 대해서는 [셀프 호스팅 가이드](https://docs.crawl4ai.com/core/self-hosting/)를 참고하세요.

</details>

---

## 🔬 고급 사용 예제 (Advanced Usage Examples) 🔬

[docs/examples](https://github.com/unclecode/crawl4ai/tree/main/docs/examples) 디렉토리에서 프로젝트 구조를 확인할 수 있습니다. 해당 경로에서 다양한 예제를 찾을 수 있으며, 아래에 인기 있는 예제 몇 가지를 공유합니다.

<details>
<summary>📝 Clean 및 Fit Markdown을 사용한 휴리스틱 Markdown 생성</summary>

```python
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
from crawl4ai.content_filter_strategy import PruningContentFilter, BM25ContentFilter
from crawl4ai.markdown_generation_strategy import DefaultMarkdownGenerator

async def main():
    browser_config = BrowserConfig(
        headless=True,  
        verbose=True,
    )
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.ENABLED,
        markdown_generator=DefaultMarkdownGenerator(
            content_filter=PruningContentFilter(threshold=0.48, threshold_type="fixed", min_word_threshold=0)
        ),
        # markdown_generator=DefaultMarkdownGenerator(
        #     content_filter=BM25ContentFilter(user_query="WHEN_WE_FOCUS_BASED_ON_A_USER_QUERY", bm25_threshold=1.0)
        # ),
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url="https://docs.micronaut.io/4.9.9/guide/",
            config=run_config
        )
        print(len(result.markdown.raw_markdown))
        print(len(result.markdown.fit_markdown))

if __name__ == "__main__":
    asyncio.run(main())
```

</details>

<details>
<summary>🖥️ LLM 없이 JavaScript 실행 및 구조화된 데이터 추출</summary>

```python
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
from crawl4ai import JsonCssExtractionStrategy
import json

async def main():
    schema = {
    "name": "KidoCode Courses",
    "baseSelector": "section.charge-methodology .w-tab-content > div",
    "fields": [
        {
            "name": "section_title",
            "selector": "h3.heading-50",
            "type": "text",
        },
        {
            "name": "section_description",
            "selector": ".charge-content",
            "type": "text",
        },
        {
            "name": "course_name",
            "selector": ".text-block-93",
            "type": "text",
        },
        {
            "name": "course_description",
            "selector": ".course-content-text",
            "type": "text",
        },
        {
            "name": "course_icon",
            "selector": ".image-92",
            "type": "attribute",
            "attribute": "src"
        }
    ]
}

extraction_strategy = JsonCssExtractionStrategy(schema, verbose=True)

browser_config = BrowserConfig(
        headless=False,
        verbose=True
    )
    run_config = CrawlerRunConfig(
        extraction_strategy=extraction_strategy,
        js_code=["""(async () => {const tabs = document.querySelectorAll("section.charge-methodology .tabs-menu-3 > div");for(let tab of tabs) {tab.scrollIntoView();tab.click();await new Promise(r => setTimeout(r, 500));}})();"""],
        cache_mode=CacheMode.BYPASS
    )
        
    async with AsyncWebCrawler(config=browser_config) as crawler:
        
        result = await crawler.arun(
            url="https://www.kidocode.com/degrees/technology",
            config=run_config
        )

companies = json.loads(result.extracted_content)
        print(f"Successfully extracted {len(companies)} companies")
        print(json.dumps(companies[0], indent=2))

if __name__ == "__main__":
    asyncio.run(main())
```

</details>

```python
import os
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode, LLMConfig
from crawl4ai import LLMExtractionStrategy
from pydantic import BaseModel, Field

class OpenAIModelFee(BaseModel):
    model_name: str = Field(..., description="Name of the OpenAI model.")
    input_fee: str = Field(..., description="Fee for input token for the OpenAI model.")
    output_fee: str = Field(..., description="Fee for output token for the OpenAI model.")

async def main():
    browser_config = BrowserConfig(verbose=True)
    run_config = CrawlerRunConfig(
        word_count_threshold=1,
        extraction_strategy=LLMExtractionStrategy(
            # 여기서는 Litellm 라이브러리가 지원하는 모든 제공업체를 사용할 수 있습니다. 예: ollama/qwen2
            # provider="ollama/qwen2", api_token="no-token", 
            llm_config = LLMConfig(provider="openai/gpt-4o", api_token=os.getenv('OPENAI_API_KEY')), 
            schema=OpenAIModelFee.schema(),
            extraction_type="schema",
            instruction="""From the crawled content, extract all mentioned model names along with their fees for input and output tokens. 
            Do not miss any models in the entire content. One extracted model JSON format should look like this: 
            {"model_name": "GPT-4", "input_fee": "US$10.00 / 1M tokens", "output_fee": "US$30.00 / 1M tokens"}."""
        ),            
        cache_mode=CacheMode.BYPASS,
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url='https://openai.com/api/pricing/',
            config=run_config
        )
        print(result.extracted_content)

if __name__ == "__main__":
    asyncio.run(main())
```

</details>

```python
import os, sys
from pathlib import Path
import asyncio, time
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode

async def test_news_crawl():
    # 영구 사용자 데이터 디렉토리 생성
    user_data_dir = os.path.join(Path.home(), ".crawl4ai", "browser_profile")
    os.makedirs(user_data_dir, exist_ok=True)

browser_config = BrowserConfig(
        verbose=True,
        headless=True,
        user_data_dir=user_data_dir,
        use_persistent_context=True,
    )
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.BYPASS
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        url = "ADDRESS_OF_A_CHALLENGING_WEBSITE"
        
        result = await crawler.arun(
            url,
            config=run_config,
            magic=True,
        )
        
        print(f"Successfully crawled {url}")
        print(f"Content length: {len(result.markdown)}")
```

</details>

---

## ✨ 최근 업데이트 (Recent Updates)

<details open>
<summary>버전 0.9.2 릴리스 하이라이트 - 유지보수 버그 수정</summary>

디스패처, Docker 및 GPU 빌드 전반에 걸쳐 버그를 수정한 유지보수 패치 릴리스입니다. 스트리밍 크롤링이 종료될 때 `MemoryAdaptiveDispatcher`가 크롤링 태스크와 브라우저 페이지를 더 이상 누수시키지 않습니다. Docker 수정 사항에는 Playground "Advanced Config" 400 오류, JWT 인증 시 Monitor WebSocket 500 오류, Playwright 헤드리스 셸 패키징 문제가 포함됩니다. `ENABLE_GPU=true` Docker 빌드가 CUDA 툴킷에서 더 이상 실패하지 않습니다.

새로운 기능이나 파괴적인 변경 사항(Breaking changes)은 없습니다.