transparencia-gov-br

KO | EN

gitlite — search

#react #llm #golang #go #android #machine-learning #linux #macos #cli #vue #awesome-list #pytorch #mcp #ios

transparencia-gov-br

(★ 59)

Scraper do Portal da Transparência do Governo Federal, em Python 3

transparencia-gov-br Latest Version Download

Download Latest Version (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Scraper do Portal da Transparência do Governo Federal

## Instalando

```shell
pyenv virtualenv 3.7.3 transparencia-gov-br
pyenv activate transparencia-gov-br
pip install -r requirements.txt
```

## Rodando

Todos os spiders:

```shell
./run.sh
```

Apenas um spider:

```shell
./run.sh <nome-do-spider>
```

> Nota: consule os nomes dos spiders disponíveis em
> [transparenciagovbr/spiders/](transparenciagovbr/spiders/]).

Pode ser interessante rodar algum script de extração fora de um spider (por
limitações do scrapy). Veja os scripts disponíveis na pasta `scripts` e
execute-os com o parâmetro `--help` para ver as opções disponíveis.

## Importando no PostgreSQL

Antes, instale as dependências, rode os spiders e crie uma varíavel com a URI
de conexão com o banco:

```shell
pip install psycopg2-binary tqdm
./run.sh
export POSTGRESQL_URI="postgres://usuario:senha@host:porta/banco"
```

Depois, execute o script para importar todas as tabelas:

```shell
./import-postgresql.sh
```

Ou apenas a tabela de um spider específico:

```shell
./import-postgresql.sh <nome-do-spider>
```

> Nota: consule os nomes dos spiders disponíveis em
> [transparenciagovbr/spiders/](transparenciagovbr/spiders/]).

transparencia-gov-br

transparencia-gov-br Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

transparencia-gov-br

transparencia-gov-br Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

Download README