news-crawl
News crawling with StormCrawler - stores content as WARC
파일 탐색기
최종 버전 다운로드 (.zip)- maven.yml
- dependabot.yml
- jvm.config
- bootstrap.sh
- newscrawl-ami.json
- README.md
- metrics.ndjson
- OS_ImportDashboards.sh
- status.ndjson
- storm.ndjson
- aws_upload_warc.sh
- OS_IndexInit.sh
- sc-main-run.sh
- status
- bootstrap-conf.yaml
- crawler-conf.yaml
- crawler.flux
- opensearch-conf.yaml
- storm-nimbus.conf
- storm-supervisor.conf
- storm-ui.conf
- zookeeper.conf
- supervisord.conf
- feeds.txt
- FastURLFilter.java
- BootstrapTopology.java
- FeedLinkParseFilter.java
- NewsSiteMapDetectorBolt.java
- ContentDetector.java
- CrawlTopology.java
- FeedDetectorBolt.java
- NewsSiteMapParserBolt.java
- NewsSitemapScheduler.java
- PreFilterBolt.java
- PunycodeURLNormalizer.java
- bootstrap-parsefilters.json
- bootstrap-urlfilters.json
- default-regex-filters.txt
- default-regex-normalizers.xml
- fast-urlfilter.txt
- indexer.mapping
- inject-urlfilters.json
- metrics.mapping
- parsefilters.json
- pre-urlfilters.json
- status.mapping
- urlfilters.json
- NewsSiteMapParserTest.java
- NewsSitemapSchedulerTest.java
- FastURLFilterTest.java
- fast-urlfilter.txt
- feed-with-sitemap-namespace.xml
- sitemap-news.xml
- .gitignore
- docker-compose.yaml
- Dockerfile
- LICENSE
- pom.xml
- README.md
# 설치 가이드
1. 코드 내려받기
git clone https://github.com/commoncrawl/news-crawl
깃허브에서 프로젝트 코드 전체를 내 컴퓨터로 내려받습니다.
cd news-crawl
방금 내려받은 프로젝트 폴더 안으로 이동합니다.
2. Docker
쉬움 추천사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- Docker Desktop 컨테이너를 빌드하고 실행하려면 필요합니다. 설치 후 실행해서 백그라운드에 켜두세요.
In production, you should use `storm jar ...` to run the topology in distributed mode and continuously (no time limit) including the Storm UI and logging (see the Docker Compose section below for the exact Flux and Java commands).
compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.
Do not forget to create the uberjar (see above) which is included in the Docker image. Simply run:
이 명령어를 터미널에 그대로 입력해 실행하세요.
Verify the configuration in the file [docker-compose.yaml](docker-compose.yaml) and [conf/](conf/) is correct:
compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.
Then download and build the Docker images:
이 명령어를 터미널에 그대로 입력해 실행하세요.
For inspecting the worker log files (the container name matches `container_name:` for the `storm-supervisor` service in [docker-compose.yaml](docker-compose.yaml)):
compose 설정 파일에 정의된 서비스들을 대상으로 명령을 실행합니다.
터미널에 docker compose ps 를 입력해 컨테이너들이 Up 상태인지 확인하세요. README에 포트 번호가 적혀있다면 브라우저에서 http://localhost:포트번호 로 접속해보세요.
이 레포의 README에 적힌 실제 명령어를 그대로 가져왔습니다.
3. Maven (Java)
보통사전 준비물
- Git GitHub에서 프로젝트 코드를 내려받으려면 필요합니다.
- JDK (Java) Java 프로젝트를 빌드/실행하려면 필요합니다.
- Maven mvn 명령어를 쓰기 위한 빌드 도구입니다.
mvn clean install
Maven으로 의존성 설치와 빌드를 진행합니다.
BUILD SUCCESS 메시지가 뜨면 성공입니다. target/ 폴더에 결과물이 생성됩니다.
// repository documentation
Was this content helpful?
(0 ratings)