st-home

KO | EN

gitlite — search

#javascript #python #hacktoberfest #react #ai #typescript #llm #go #golang #android #machine-learning #rust #deep-learning #linux

★ 13 Open GitHub ↗

Homepage of la Suite territoriale + Data process of OPNT

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# La Suite territoriale - Site vitrine

https://suiteterritoriale.anct.gouv.fr/

Cette application implémente la page d'accueil de la Suite territoriale, ainsi que le chemin de raccordement pour les collectivités.

Son code est basé sur [Next.js](https://nextjs.org/), et a été initié à partir du [template Next.js de betagouv](https://github.com/betagouv/template-nextjs).

## Lancer le code

Après avoir cloné le projet :

### Développement

```bash
make bootstrap
```

Il suffit ensuite de se rendre sur [http://localhost:8950/](http://localhost:8950/).

Pour voir toutes les commandes disponibles, il est possible de lancer :

```bash
make help
```

### Services de développement

Les services suivants sont disponibles :

| Service              | URL / Port                                                                       | Description                                 | Identifiants  |
| -------------------- | -------------------------------------------------------------------------------- | ------------------------------------------- | ------------- |
| **Frontend**         | [http://localhost:8950](http://localhost:8950)                                   | Site vitrine en développement               | Aucun         |
| **PostgreSQL**       | 8951                                                                             | Serveur de base de données                  | `usr` / `pwd` |
| **Redis**            | 8952                                                                             | Cache et courtier de messages               | Aucun         |
| **Dashboard tâches** | [http://localhost:8953/worker-dashboard](http://localhost:8953/worker-dashboard) | Supervision de la file de tâches (dramatiq) | Aucun         |
| **Drizzle Studio**   | [http://localhost:8954](http://localhost:8954)                                   | Interface de gestion de la base de données  | Aucun         |

### Production de données

![Production des données RPNT](https://raw.githubusercontent.com/suitenumerique/st-home/main/docs/rpnt-data-process.png)

Un conteneur Python utilisant le code de `data/` est lançable avec :

```bash
make data-shell
```

Une fois dedans, il est possible de lancer les tâches de synchronisation des données :

```bash
# Tout synchroniser
python -m tasks.sync

# Lancer une vérification manuellement et afficher son résultat.
# On peut passer un SIRET (la vérification porte alors sur l'email / le site web
# de l'organisation correspondante), ou directement une URL / un domaine email :
python -m tasks.check_website [SIRET | URL]      # ex: python -m tasks.check_website https://example.com
python -m tasks.check_dns [SIRET | domaine]      # ex: python -m tasks.check_dns example.com
```

Ces commandes affichent la valeur de retour de la vérification (les problèmes
détectés) sans rien écrire en base, ce qui permet de débugguer des problèmes
liés à certains SIRETs ou domaines en particulier.

Il est recommandé d'ajouter des tests unitaires à chaque nouveau cas pour rendre les vérifications plus robustes.

### Mise à jour des dépendances

Après avoir modifié une dépendance Python dans `data/pyproject.toml`, il est nécessaire de recréer le lockfile :

```bash
make data-freeze-deps
```

Idem pour le frontend. Après avoir modifié une dépendance dans `package.json`, il est nécessaire de recréer le lockfile :

```bash
make front-freeze-deps
```

Une autre méthode est de lancer `make front-shell` et de faire un `npm install _package_` depuis le conteneur.

### Base de données

L'application utilise [Drizzle ORM](https://orm.drizzle.team/) pour gérer la base de données PostgreSQL.

Pour réinitialiser la base de données avec des données de test :

```bash
# Réinitialiser la base de données avec des données de test
make db-reset-sample

# Explorer la base de données avec Drizzle Studio
make db-browse

# Restaurer un backup de prod
make db-restore
```

#### Restauration vers une base distante (Scalingo)

Pour restaurer le fichier `db-backup.tar.gz` présent à la racine du projet vers une base PostgreSQL distante (typiquement une base Scalingo dédiée), utiliser :

```bash
make db-restore-remote URL='postgresql://user:pass@host:port/dbname'
```

La commande :

- s'exécute dans un conteneur `postgres:16.6` (aucun binaire `pg_restore` requis sur la machine hôte) ;
- applique les options recommandées par [la documentation Scalingo](https://doc.scalingo.com/databases/postgresql/dedicated-resources/guides/restoring) : `--clean --if-exists --no-owner --no-privileges --no-comments` ;
- demande une confirmation interactive avant de lancer la restauration, car elle écrase les objets existants sur la base cible.

Prérequis côté Scalingo (à effectuer en amont, non gérés par la commande) :

1. Autoriser l'IP de la machine dans le pare-feu de la base :
   ```bash
   scalingo --app <app> database-firewall-rules-add <addon-id> --cidr <your-ip>/32 --label "Workstation"
   ```
2. Récupérer l'URL de connexion :
   ```bash
   scalingo --app <app> env-get SCALINGO_POSTGRESQL_URL
   ```
3. La restauration impose un arrêt complet de la base durant l'opération (downtime inévitable).

#### Ajout de colonnes dans la base de données

En cas d'ajout de colonnes gérées par Drizzle dans la base de données Postgres, voici la procédure à suivre :

- Modifier `src/lib/schema.ts`
- Executer `make db-push` pour modifier la table
- Executer `make db-seed` pour importer les nouvelles données
- Si besoin, ajouter ces colonnes aux tables `*_history` manuellement

Ces étapes sont à répéter en staging puis en prod.

### Tests

```
# lancer tous les tests
make test

# a refaire avant chaque commit
make lint
```

## Mise à jour des fichiers geoJSON

### Prérequis

- Mapshaper installé sur votre système ([https://github.com/mbloch/mapshaper](https://github.com/mbloch/mapshaper))

### Procédure

#### 1. Téléchargement des données

Télécharger la dernière version des données ADMIN EXPRESS de l'IGN, version France Entière, depuis :
[https://geoservices.ign.fr/adminexpress](https://geoservices.ign.fr/adminexpress)

#### 2. Génération du geoJSON des régions

```bash
mapshaper -i REGION.shp snap -proj wgs84 -simplify 5% weighted keep-shapes -filter-fields INSEE_REG,NOM -rename-fields INSEE_GEO=INSEE_REG,NAME=NOM -o format=geojson precision=0.00001 regions.json
```

#### 3. Génération des geoJSON des départements par région

```bash
mapshaper -i REGION.shp name=regions -i DEPARTEMENT.shp name=depts -clip target=depts source=regions -proj wgs84 -simplify 5% weighted keep-shapes -filter-fields INSEE_DEP,INSEE_REG,NOM -rename-fields INSEE_GEO=INSEE_DEP,NAME=NOM -split INSEE_REG -o format=geojson precision=0.00001
```

#### 4. Génération des geoJSON des communes par département

```bash
mapshaper -i DEPARTEMENT.shp name=depts -i COMMUNE.shp name=communes -clip target=communes source=depts -proj wgs84 -simplify 5% weighted keep-shapes -filter-fields INSEE_COM,INSEE_DEP,NOM -rename-fields INSEE_GEO=INSEE_COM,NAME=NOM -split INSEE_DEP -o format=geojson precision=0.00001
```

### Résultats

Cette procédure générera :

- Un fichier `france.json` contenant les données des régions
- Des fichiers séparés pour chaque région, contenant l'ensemble des départements de cette région
- Des fichiers séparés pour département, contenant l'ensemble des communes de ce département

st-home

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README