Data Platform
DataHub EONA-X
DataHub orienté qualité metadata, avec workflows d'ingestion et score de complétude pour exploitation analytique.
Problématique
Structurer des datasets hétérogènes et garantir leur niveau de qualité avant diffusion aux équipes métier et IA.
Architecture
UI analytics, API FastAPI, orchestrateur scheduler, stockage SQL pour metadata, NoSQL pour documents et logs de pipeline.
FrontendAPIAuthSQL + NoSQLJobs
Stack technique
FastAPIReactPostgreSQLMongoDBDockerAzure
Highlights
- Scoring dynamique de complétude metadata
- Automatisation de classement des datasets
- Tableaux de bord data quality en temps réel
- Expose API pour connecteurs externes
Défis techniques
- Normaliser des schémas source très différents
- Traiter des pics de volume à l'ingestion
- Proposer des KPIs lisibles pour des profils non techniques
Résultats
- Qualité metadata moyenne passée de 54% à 91%
- Temps de qualification divisé par 3
- Accès self-service aux datasets critiques
Dashboard complétude & Metadata
Vue instantanée des dimensions de qualité par domaine et des méta-données.
Studio de visualisation
Création de visualisations interactives pour les datasets par bulles, par heatmap, par points ou par graphs.