Descubrimiento, observabilidad y gobernanza inteligente de datos abiertos del Ayuntamiento de Madrid
Desarrollador: Javier Carpintero Ordóñez
Situación: prototipo
Resumen
El proyecto “Descubrimiento, observabilidad y gobernanza inteligente” propone una evolución para el Portal de Datos Abiertos del Ayuntamiento de Madrid, al transformar un repositorio de ficheros a un ecosistema de datos vivo, gobernado y de alta fiabilidad. Su objetivo fundamental es minimizar los problemas de calidad que hoy en día dificultan la reutilización, como inconsistencias estructurales o falta de documentación técnica sobre los conjuntos de datos, así como eliminar las fricciones técnicas que obligan a los reutilizadores a invertir esfuerzos en la limpieza de la información. La propuesta busca alinear el portal con estándares de calidad y gestión del dato.
Para materializar esta visión, se ha diseñado y prototipado una solución modular basada íntegramente en componentes de código abierto. La solución utiliza OpenMetadata (https://open-metadata.org/) como centro de control y gobierno, e integra Frictionless Data (https://frictionlessdata.io/) para realizar la descripción y las inspecciones automáticas de calidad sobre cada conjunto de datos. El sistema infiere los esquemas a partir de una muestra de los datos para, una vez definido el esquema, realizar la validación y detectar errores estructurales, incoherencias de formato o falta de datos.
Esta arquitectura escalable permite auditar automáticamente los miles de recursos del catálogo, asegurando que cumplen con dimensiones de calidad exigibles, como completitud, consistencia y actualidad.
La solución ofrece un valor diferencial dual. Por un lado, facilita a los gestores municipales una observabilidad completa sobre la salud de los conjuntos de datos que conforman el Portal de Datos Abiertos del Ayuntamiento de Madrid, y priorizan esfuerzos de mejora basados en métricas reales. Además, se habilita la gobernanza de los activos de datos, al poder asignar responsables y tareas a usuarios o grupos para el mantenimiento de los datasets o la subsanación de los incidentes que se detecten.
Por otro lado, se democratiza el acceso a la información para reutilizadores. Gracias a un asistente conversacional conectado a través de un servidor MCP (Model Context Protocol) a OpenMetadata y utilizando modelos de lenguaje (LLM), cualquier persona puede explorar y consultar el catálogo de conjuntos de datos del portal mediante preguntas en lenguaje natural. Esto no solo elimina la barrera técnica de entrada, sino que impulsa la economía del dato.
