KO | EN

GitLite

Minimalist Open Source Repository Search Engine

gitlite — search

#dsh #dsh-plugin #ai-agents #developer-tools #ai-agent #claude-code #mcp #typescript #codex #cli #rust #deepseek-harness

transparencia-gov-br

★ 59 Open GitHub ↗

Scraper do Portal da Transparência do Governo Federal, em Python 3

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Scraper do Portal da Transparência do Governo Federal

## Instalando

```shell
pyenv virtualenv 3.7.3 transparencia-gov-br
pyenv activate transparencia-gov-br
pip install -r requirements.txt
```

## Rodando

Todos os spiders:

```shell
./run.sh
```

Apenas um spider:

```shell
./run.sh <nome-do-spider>
```

> Nota: consule os nomes dos spiders disponíveis em
> [transparenciagovbr/spiders/](transparenciagovbr/spiders/]).

Pode ser interessante rodar algum script de extração fora de um spider (por
limitações do scrapy). Veja os scripts disponíveis na pasta `scripts` e
execute-os com o parâmetro `--help` para ver as opções disponíveis.

## Importando no PostgreSQL

Antes, instale as dependências, rode os spiders e crie uma varíavel com a URI
de conexão com o banco:

```shell
pip install psycopg2-binary tqdm
./run.sh
export POSTGRESQL_URI="postgres://usuario:senha@host:porta/banco"
```

Depois, execute o script para importar todas as tabelas:

```shell
./import-postgresql.sh
```

Ou apenas a tabela de um spider específico:

```shell
./import-postgresql.sh <nome-do-spider>
```

> Nota: consule os nomes dos spiders disponíveis em
> [transparenciagovbr/spiders/](transparenciagovbr/spiders/]).

transparencia-gov-br

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README