Skip to content

feat: #37 Visualise diff stops#76

Draft
lsorba wants to merge 11 commits into
data-for-good-grenoble:mainfrom
lsorba:feat-37-visualise-diff-stops
Draft

feat: #37 Visualise diff stops#76
lsorba wants to merge 11 commits into
data-for-good-grenoble:mainfrom
lsorba:feat-37-visualise-diff-stops

Conversation

@lsorba

@lsorba lsorba commented Sep 14, 2025

Copy link
Copy Markdown
Collaborator

Closes #37

Première version : prend un à trois geoJSON provenant de différentes sources, utilise le centroïde ou le médioïde pour afficher une carte avec les différences entre les arrêts.

A terme utiliser geoParquet lorsque les données seront disponibles.

@lsorba lsorba self-assigned this Sep 14, 2025
…th clustering and mapping features. Updated process.mermaid.
…t data, add agency handling, and expand cluster details.
@lsorba
lsorba force-pushed the feat-37-visualise-diff-stops branch from 355de09 to c7ead6b Compare September 25, 2025 09:54
@lsorba

lsorba commented Oct 9, 2025

Copy link
Copy Markdown
Collaborator Author

@NicolasGrosjean la version de pydantic n'est pas gelé, il est passé à la version 2.12 ce qui fait que les tests OSM ne passent plus car le message d'erreur testé contient la version For further information visit https://errors.pydantic.dev/2.11/v/int_parsing

@lsorba

lsorba commented Oct 9, 2025

Copy link
Copy Markdown
Collaborator Author

@NicolasGrosjean la version de pydantic n'est pas gelé, il est passé à la version 2.12 ce qui fait que les tests OSM ne passent plus car le message d'erreur testé contient la version For further information visit https://errors.pydantic.dev/2.11/v/int_parsing

J'ai fait une adaptation, je te laisse regarder.

@lsorba
lsorba marked this pull request as ready for review October 9, 2025 09:13
@lsorba
lsorba requested review from NicolasGrosjean and RiwsPy and removed request for NicolasGrosjean and RiwsPy October 9, 2025 09:14
@lsorba
lsorba marked this pull request as draft October 9, 2025 09:30
@NicolasGrosjean

Copy link
Copy Markdown
Collaborator

@NicolasGrosjean la version de pydantic n'est pas gelé, il est passé à la version 2.12 ce qui fait que les tests OSM ne passent plus car le message d'erreur testé contient la version For further information visit https://errors.pydantic.dev/2.11/v/int_parsing

J'ai fait une adaptation, je te laisse regarder.

Effectivement en copiant le message complet je n'avais pas vu que ça contenait la version, merci beaucoup pour le correctif.

Comment thread pyproject.toml Outdated
"pandas-stubs==2.3.0.250703",
"pyarrow>=20.0.0",
"pydantic>=2.11.9,<3.0.0",
"scikit-learn>=1.7.2",

@NicolasGrosjean NicolasGrosjean Oct 9, 2025

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Pour chaque package en version N.X.X, ça peut être intéressant d'ajouter un <N+1.0.0 afin d'éviter de se automatiquement mettre à jour sur une nouvelle version majeure qui pourra casser le code.

"metadata": {},
"source": [
"# Set the input GeoJSONs (can be 1 to 3 sources), can be also geoParquet files\n",
"a_path = Path(\"../data/transportdatagouv/stops_38.parquet\")\n",

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Le nom du fichier a changé on dirait.

" ]\n",
"]\n",
"\n",
"m = plot_clusters_interactive(out_nb, title=\"Stops diff clusters (coloured by presence)\")\n",

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Je serai d'avis de mettre le plot dans une autre cellule pour découpler la construction du dataset et de la visualisation (notamment pour ne pouvoir relancer que le traitement dont on a besoin en cas de changements)

@NicolasGrosjean NicolasGrosjean left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

J'ai fini par exécuter le notebook et ai vu sur la carte avec des outliers bien loin de la France ...

Par contre ma machine s'est mise à swapper car l'exécution du notebook m'a pris plus de 7.5Go !

Est-ce que c'est possible de filtrer géographiquement les données avant d'afficher la carte ?

Comment thread pyproject.toml Outdated
Comment thread pyproject.toml Outdated
@lsorba

lsorba commented Oct 10, 2025

Copy link
Copy Markdown
Collaborator Author

J'ai fini par exécuter le notebook et ai vu sur la carte avec des outliers bien loin de la France ...

Par contre ma machine s'est mise à swapper car l'exécution du notebook m'a pris plus de 7.5Go !

Est-ce que c'est possible de filtrer géographiquement les données avant d'afficher la carte ?

Tu as du prendre le parquet 'all' essaie stops_38.parquet. Dans mon autre PR, j'ai normalisé les noms des fichiers.

image

J'en profite pour dire que bus_stops_isere.parquet n'a pas de CRS défini, je dois le forcer

    if not gdf.crs:
        # OSM data has no CRS defined, so we assume it's WGS84
        gdf.set_crs(EPSG_WGS84, inplace=True)

Le PR est en draft, j'attends de finir #85 pour le mettre en fusionnable, mais merci pour la revue :)

@NicolasGrosjean

Copy link
Copy Markdown
Collaborator

Tu as du prendre le parquet 'all' essaie stops_38.parquet. Dans mon autre PR, j'ai normalisé les noms des fichiers.

Effectivement j'ai pris 2025-09-08_stops_all.parquet une fois que j'ai fini de mettre en place git-lfs pour le récupérer.

J'en profite pour dire que bus_stops_isere.parquet n'a pas de CRS défini, je dois le forcer

Merci , je vais appliquer ce code dans le pipeline

Le PR est en draft, j'attends de finir #85 pour le mettre en fusionnable, mais merci pour la revue :)

Désolé j'ai fait la review suite à l'email de demande de review, je n'avais pas fait attention que tu avais enlevé la demande 😊

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Visibiliser les arrêts de l'Isère de toutes les sources

2 participants