Scrapling

(β˜… 75,655)

πŸ•·οΈ 단일 μš”μ²­λΆ€ν„° λŒ€κ·œλͺ¨ ν¬λ‘€λ§κΉŒμ§€ λͺ¨λ“  것을 μ²˜λ¦¬ν•˜λŠ” μ μ‘ν˜• Web Scraping ν”„λ ˆμž„μ›Œν¬μž…λ‹ˆλ‹€!

  • .bandit.yml
  • .dockerignore
  • .gitignore
  • .pre-commit-config.yaml
  • .readthedocs.yaml
  • AI_POLICY.md
  • benchmarks.py
  • cleanup.py
  • CODE_OF_CONDUCT.md
  • CONTRIBUTING.md
  • Dockerfile
  • LICENSE
  • MANIFEST.in
  • pyproject.toml
  • pytest.ini
  • README.md
  • ROADMAP.md
  • ruff.toml
  • server.json
  • setup.cfg
  • tox.ini
  • zensical.toml

πŸš€ μ„€μΉ˜ κ°€μ΄λ“œ

1. μ½”λ“œ λ‚΄λ €λ°›κΈ°
git clone https://github.com/D4Vinci/Scrapling

κΉƒν—ˆλΈŒμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œ 전체λ₯Ό λ‚΄ μ»΄ν“¨ν„°λ‘œ λ‚΄λ €λ°›μŠ΅λ‹ˆλ‹€.

cd Scrapling

방금 내렀받은 ν”„λ‘œμ νŠΈ 폴더 μ•ˆμœΌλ‘œ μ΄λ™ν•©λ‹ˆλ‹€.

2. 곡식 μ„€μΉ˜ 슀크립트

쉬움 μΆ”μ²œ
사전 μ€€λΉ„λ¬Ό
  • Python 3 pip λͺ…λ Ήμ–΄λ₯Ό μ“°λ €λ©΄ Python이 ν•„μš”ν•©λ‹ˆλ‹€.
pip install scrapling

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install "scrapling[fetchers]"

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install "scrapling[ai]"

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install "scrapling[shell]"

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

βœ… μ„€μΉ˜ ν›„ μƒˆ 터미널을 μ—΄κ³ , ν”„λ‘œκ·Έλž¨μ˜ 버전 확인 λͺ…λ Ή(예: --version)으둜 정상 μ„€μΉ˜λλŠ”μ§€ ν™•μΈν•˜μ„Έμš”.

이 레포의 README에 적힌 μ‹€μ œ λͺ…λ Ήμ–΄λ₯Ό κ·ΈλŒ€λ‘œ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€.

3. Docker

쉬움
사전 μ€€λΉ„λ¬Ό
  • Git GitHubμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό λ‚΄λ €λ°›μœΌλ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€.
  • Docker Desktop μ»¨ν…Œμ΄λ„ˆλ₯Ό λΉŒλ“œν•˜κ³  μ‹€ν–‰ν•˜λ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€. μ„€μΉ˜ ν›„ μ‹€ν–‰ν•΄μ„œ λ°±κ·ΈλΌμš΄λ“œμ— μΌœλ‘μ„Έμš”.
docker pull pyd4vinci/scrapling

이 λͺ…λ Ήμ–΄λ₯Ό 터미널에 κ·ΈλŒ€λ‘œ μž…λ ₯ν•΄ μ‹€ν–‰ν•˜μ„Έμš”.

docker pull ghcr.io/d4vinci/scrapling:latest

이 λͺ…λ Ήμ–΄λ₯Ό 터미널에 κ·ΈλŒ€λ‘œ μž…λ ₯ν•΄ μ‹€ν–‰ν•˜μ„Έμš”.

<a href="https://hub.docker.com/r/pyd4vinci/scrapling" target="_blank">

이 λͺ…λ Ήμ–΄λ₯Ό 터미널에 κ·ΈλŒ€λ‘œ μž…λ ₯ν•΄ μ‹€ν–‰ν•˜μ„Έμš”.

<img alt="Docker Pulls" src="https://img.shields.io/docker/pulls/pyd4vinci/scrapling?labelColor=%20%23FDB062&logo=Docker&labelColor=%20%23528bff"></a>

이 λͺ…λ Ήμ–΄λ₯Ό 터미널에 κ·ΈλŒ€λ‘œ μž…λ ₯ν•΄ μ‹€ν–‰ν•˜μ„Έμš”.

βœ… 터미널에 docker compose ps λ₯Ό μž…λ ₯ν•΄ μ»¨ν…Œμ΄λ„ˆλ“€μ΄ Up μƒνƒœμΈμ§€ ν™•μΈν•˜μ„Έμš”. README에 포트 λ²ˆν˜Έκ°€ μ ν˜€μžˆλ‹€λ©΄ λΈŒλΌμš°μ €μ—μ„œ http://localhost:포트번호 둜 μ ‘μ†ν•΄λ³΄μ„Έμš”.

이 레포의 README에 적힌 μ‹€μ œ λͺ…λ Ήμ–΄λ₯Ό κ·ΈλŒ€λ‘œ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€.

4. Python

쉬움
사전 μ€€λΉ„λ¬Ό
  • Git GitHubμ—μ„œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό λ‚΄λ €λ°›μœΌλ €λ©΄ ν•„μš”ν•©λ‹ˆλ‹€.
  • Python 3 μ„€μΉ˜ μ‹œ 'Add Python to PATH' μ˜΅μ…˜μ„ κΌ­ μ²΄ν¬ν•˜μ„Έμš” (Windows).
pip install scrapling

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install "scrapling[fetchers]"

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install "scrapling[ai]"

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install "scrapling[shell]"

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

pip install "scrapling[all]"

PyPI에 배포된 νŒ¨ν‚€μ§€λ₯Ό λ°”λ‘œ μ„€μΉ˜ν•©λ‹ˆλ‹€. μ†ŒμŠ€ 클둠이 ν•„μš” μ—†μŠ΅λ‹ˆλ‹€.

βœ… μ—λŸ¬ λ©”μ‹œμ§€ 없이 μ‹€ν–‰λ˜κ³  터미널에 μ•ˆλ‚΄ 문ꡬ가 좜λ ₯되면 μ •μƒμž…λ‹ˆλ‹€.

이 레포의 README에 적힌 μ‹€μ œ λͺ…λ Ήμ–΄λ₯Ό κ·ΈλŒ€λ‘œ κ°€μ Έμ™”μŠ΅λ‹ˆλ‹€.

// repository documentation