Manuellement

Pour déployer les nouvelles tables de données publiques dans une BDD PostgreSQL hébergée dans le cloud ou hébergée localement.

Prérequis

• Une instance PostgreSQL version 16 avec minimum 40 Go d'espace et 4 Go de RAM ;

• Possibilité d'y installer les extensions PostGIS ;

• Instance cloud ou locale si vous déployez manuellement ;

• Le déploiement supprime les schemas nommés prepet sources. Vérifiez que vous n'en utilisez pas initialement.

Depuis Machine Locale

• Cloner le repo

  $ git clone [email protected]:make-open-data/make-open-data.git
  

• Installer et activer un environment virtuel

  $ python3 -m venv dbt-env
  $ source dbt-env/bin/activate
  $ pip install --upgrade pip
  $ pip install -r requirements.txt
  

• Exporter les clés de l'instance PostgreSQL :

  $ export POSTGRES_USER=<YOUR_POSTGRES_USER> 
  $ export POSTGRES_PASSWORD=<YOUR_POSTGRES_PASSWORD> 
  $ export POSTGRES_HOST=<YOUR_POSTGRES_HOST> 
  $ export POSTGRES_PORT=<YOUR_POSTGRES_PORT> 
  $ export POSTGRES_DB=<YOUR_POSTGRES_DB>
  

• Connecter DBT à la base de données et vérifier la connection :

  $ export DBT_PROFILES_DIR=. 
  $ dbt debug
  

• A faire une fois : installer les extensions PostGIS et Unaccent

  psql postgresql://$POSTGRES_USER:$POSTGRES_PASSWORD@$POSTGRES_HOST:$POSTGRES_PORT/$POSTGRES_DB
  CREATE EXTENSION postgis;  
  CREATE EXTENSION unaccent;
  

• Extraire les données des sources à la base de données

  $ python -m extract
  

• Réaliser et tester les transformations pour avoir obtenir les tables finales

  $ dbt deps
  $ dbt run
  $ dbt test
  - Les tables sources et préparées sont disponibles dans la BDD.