Blog de développement

Pour l'enregistrement automatisé des bons de commande, il va être intéressant d'identifier et extraire les codes postaux. Cela permettra de renseigner la base de données avec des données propres. Certes, sur un bon de commande on a normalement pu extraire un numéro de TVA, SIREN ou SIRET, quitte à le reconstruire. On ne peut toutefois pas exclure le cas de la commande faite pour un tiers (ex. une centrale d'achat au nom d'une grosse société) ni la livraison chez un particulier, en cas de fermerture pour vacances, etc.

L'expression régulière

On applique une expression régulière à la version texte (Extraction+OCR) du mail de commande.

Validation sur base de données officielle

Le problème des Cedex

Avec la liste des codes postaux, on pourrait se croire sorti d'affaire. Erreur! Les entreprises document souvent des adresses avec des CEDEX. Le courrier sous CEDEX représente près de 15 % du trafic total en France : 220 000 clients (entreprises, collectivités) disposent d’un code propre. Ils sont donnés selon le choix du receveur du bureau postal qui les délivre...

On trouve quelques explication ici Lire →

Or, le CEDEX, géré par La Poste, en est sa propriété. Elle commercialise l'accès au répertoire CEDEXA...

Christian QUEST a proposé une solution astucieuse à ce problème: Les entreprises déclarent leur adresses de distribution dans le base SIRENE, qui, elle est publique. Il suffit donc de balayer (après nettoyage et correction des erreurs...) la base stock SIRENE. Il l'a fait pour vous en 2017, et c'est une base disponible au public. Par ailleurs, il a déposé le code utilisé pour la costruction de cette liste.

Liste des CEDEX: Tous les liens vers cette base sont brisés. Sauf un qui reste actif! Ce jeu de données est reconstitué à partir des données de la base SIRENE de l'INSEE. Il n'est donc potentiellement pas exhaustif, mais contient plus de 14000 correspondances CEDEX / LIBELLE / Code INSEE.

Il conviendrait peut-être de le reconstituer, ce qui pourrait être facilité par le fait que l'INSEE met a disposition son fichier STOCK. Zippé, il fait quand même 1,6 G (et 6G dézippé!) Lire la Documentation → et on peut télécharger en bas de page: Télécharger →

Decedexation avec France_CP_Cedex

Ce fichier cedex date de 2017... On en refait un nouveau

"c:/Windows\SysWOW64\csvtk.exe"  cat "E:\...\StockEtablissement_utf8.csv" \
 | "c:/Windows\SysWOW64\csvtk.exe" cut -I -f codePostalEtablissement,libelleCommuneEtablissement,codeCommuneEtablissement,codeCedexEtablissement,libelleCedexEtablissement -o "E:\...\France-Voies_CP_CC_CEDEX_LIBELLES.csv"

Ce code extrait les colonnes Code Postal, code Commune, Cedex et Noms de la Base Stock SIRENE: on passe ainsi de 6 Gb à 1 Gb de données en 2-3 minutes (csvtk est vraiment très performant!): on charge le stream avec CAT puis on sélectionne les colonnes avec CUT.

On garde cela en réserve... Pour dé-Cedexer, on n'a que faire des noms et libellés: on ne garde que les codes ... On ira même plus avant en supprimant aussi la colonne des codes communes de l'INSEE.

"c:/Windows\SysWOW64\csvtk.exe"  cat "E:\...\France-Voies_CP_CC_CEDEX_LIBELLES.csv" \
 | "c:/Windows\SysWOW64\csvtk.exe" cut -I -f codePostalEtablissement,codeCedexEtablissement -o "E:\...\France-Voies_CP_CEDEX.csv"

Le fichier ne pèse alors plus que 260 Mb: beaucoup d'adresses n'ont pas de Cedex... On les élimine par une expression régulière inversée, avec GREP , applicable sur les 2 colonnes: -f 1,2 , avec une expression régulière: -r , dont la pattern est : -p "^$" et sera inversée par : -v

"c:/Windows\SysWOW64\csvtk.exe" cat "E:\...\France-Voies_CP_CEDEX.csv" \
 | "c:/Windows\SysWOW64\csvtk.exe" grep -f 1,2 -r -p "^$" -v -o "E:\...\France-Voies_CP_CEDEX_UTILES.csv"

Il y a beaucoup de doublons... On réduit avec UNIQ, appliquée sur les 2 colonnes avec -f 1,2

"c:/Windows\SysWOW64\csvtk.exe" cat "E:\...\SIRENE_Via_CP_CEDEX_UTILES.csv" \
 | "c:/Windows\SysWOW64\csvtk.exe" uniq -f 1,2 -o "E:\...\FRANCE-VOIES_CP_CEDEX_UNIQUES.csv"

Il reste une poignée d'enregistrement mal formés, avec par ex. [ND], ou BP3, voire CEDEX ... On les élimine en imposant aux enregistrements d'être compsés de 5 chiffres, avec grep, applicables aux 2 colonnes avec -f 1,2 par une expression régulière -r, dont la pattern est: -p "[0-9]{5}".
A noter que le nom du fichier de sortie doit être différent de celui d'entrée.

"c:/Windows\SysWOW64\csvtk.exe" cat "E:\...\FRANCE-VOIES_CP_CEDEX_UNIQUES.csv" \
 | "c:/Windows\SysWOW64\csvtk.exe" grep -f 1,2 -r -p "[0-9]{5}" -o "E:\...\FRANCE-VOIES_CP_CEDEX_UNIQUES2.csv"

Enfin, on retire les noms de colonne, avec del-header

"c:/Windows\SysWOW64\csvtk.exe" cat "E:\...\FRANCE-VOIES_CP_CEDEX_UNIQUES2.csv" \
 | "c:/Windows\SysWOW64\csvtk.exe" del-header -o "E:\...\FRANCE-VOIES_CP_CEDEX_UNIQUES.csv"

https://www.upu.int/fr/Accueil

https://www.data.gouv.fr/fr/datasets/liste-des-cedex/#_

https://raw.githubusercontent.com/cquest/geocodage-spd/20ff02d9e44771eb817c0ff08b5ea54b7379e99b/insee-sirene/cedex.csv

https://raw.githubusercontent.com/cquest/geocodage-spd/master/insee-sirene/cedex.csv

le bon: https://data.europa.eu/data/datasets/58dcc236c751df4ecbb0235f?locale=en

Les bases

A noter: si le fichier XLSX utilise un autre séparateur que la virgule, comme la base des codes postaux, on ajoute l'argument " -s ";" ". "C:\MesLogiciels\xlsxio_xlsx2csv.exe" "C:\MesData\laposte_hexasmal.xlsx" -s ";"

https://www.76310.fr/cedexa/

La validation de la ligne adresse avec HEXAVIA ou un équivalent gratuit

HEXAVIA contient plus de 2 Millions de voies et 7 000 autres appellations des 36 600 communes de France. Les voies présentes dans le fichier sont les appellations officielles des voiries dénommées par les mairies, les appellations d'usage ... Il permet le contrôle adresse de la ligne 4 (libellé de voie). Chaque libellé de voie contenu dans le référentiel est divisé en trois parties : - Le mot directeur de la voie : dernier mot de la voie - Le libellé complet de la voie - Le type de voie. Le fichier appartient à La Poste et c'est payant!

La Poste propose une API: ControlAdresse Lire → . Il existe un accès gratuit, en Freemium, limité à 2000 Interrogations par Semestre, ce qui est un bon début! On peut probablement étendre cette limite en créant plusieurs comptes...

Un moyen de réduire au mieux le besoin à des serives payants ou 'Freemium' est de recycler l'astucieuse idée de XXX. Constituer une base locale, à partir de toutes les adresses listées dans le Stock SIRENE. Le fichier pèse 6 Giga, mais avec les bons outils, c'est faisable. Si vous ne trouvez pas cette voie, alors, c'est qu'aucune entreprise n'y a jamais déclaré d'établissement! Dans un contexte B2B, une telle base devrait être largement suffisante

Une alternative est de scrapper la page : https://www.laposte.fr/professionnel/outils/tester-une-adresse

 "c:/Windows\SysWOW64\csvtk.exe"  cat "E:\...\StockEtablissement_utf8.csv" | "c:/Windows\SysWOW64\csvtk.exe" nrow
' // et ...
"c:/Windows\SysWOW64\csvtk.exe"  cat "E:\...\StockUniteLegale_utf8.csv" | "c:/Windows\SysWOW64\csvtk.exe" nrow  

 "c:/Windows\SysWOW64\csvtk.exe"  cat "E:\...\StockEtablissement_utf8.csv" \ 
 | "c:/Windows\SysWOW64\csvtk.exe" nrow actif
 

"c:/Windows\SysWOW64\csvtk.exe"  cat "E:\...\StockEtablissement_utf8.csv" \
 | "c:/Windows\SysWOW64\csvtk.exe" cut -I -f libelleVoieEtablissement,codePostalEtablissement \
 | "c:/Windows\SysWOW64\csvtk.exe" uniq -I -f 1,2 -o "E:\...\SIRENE_Via_CP_Voies_Etablissements.csv" 

 "c:/Windows\SysWOW64\csvtk.exe" cat "E:\...\SIRENE_Via_CP_Voies_Etablissements.csv" \
 | "c:/Windows\SysWOW64\csvtk.exe" cut -I -f 2  | "c:/Windows\SysWOW64\csvtk.exe" uniq -I -f 1 \
 | "c:/Windows\SysWOW64\csvtk.exe"  nrow