Datos Abiertos
La línea de actuación de Datos Abiertos dentro del proyecto Ciudades Abiertas se centra en la gestión de datos únicos compartidos, abiertos por defecto, georreferenciados y semánticamente anotados por parte de la ciudad. En este sentido, para la publicación de datos abiertos, se configura un sistema formado por una API REST que permite operaciones de lectura y escritura sobre datos individuales, un punto de acceso SPARQL que posibilita realizar consultas complejas sobre varios conjuntos de datos a la vez y un servicio de indexación y búsqueda que facilita la creación de aplicaciones en las que haya que realizar filtrados e interactuar con los datos.
Objetivos
El objetivo de este componente es proporcionar los medios técnicos y conceptuales necesarios para que los Ayuntamientos puedan realizar una gestión y publicación de datos abiertos. Con estas herramientas los Ayuntamientos serán capaces de diseñar sus conjuntos de datos abiertos, gestionarlos y publicarlos de manera que puedan ser aprovechados por todos los sectores de la sociedad (ciudadanía, empresas y administraciones públicas).
Actuaciones
Dentro de la línea de actuación de Datos Abiertos se desarrollan una serie de actuaciones concretas dentro del proyecto.
-
Desarrollo API REST de Datos Reutilizable
El objetivo de este componente es la publicación de una API REST de datos genérica, a partir del desarrollo software que se encuentra desplegado y en producción en Zaragoza, que permita su reutilización tanto en los contextos tecnológicos del resto de los Ayuntamientos participantes como en otras ciudades u organismos. De esta forma se posibilita que otros organismos puedan implantar de forma sencilla un sistema de gestión y publicación de datos abiertos.
-
Despliegue del Portal Datos Abiertos de Santiago de Compostela
El objetivo de esta actuación es la puesta en marcha de un portal de datos abiertos, en concreto el de Santiago de Compostela que permite la publicación de los datos municipales y facilita el acceso y la reutilización de los datos por terceros (ciudadanos y empresas). Su estructura puede servir de modelo o referencia para ayuntamientos que pretenden poner en marcha su propio portal de datos abiertos.
En la página sobre la actuación correspondiente al Portal de Datos Abiertos de Santiago de Compostela se puede consultar información detallada.
-
Infraestructura Tecnológica para la Publicación de Datos Abiertos
El objetivo de esta actuación es la realización de una propuesta específica de Infraestructura Tecnológica de Datos Abiertos para los Ayuntamientos de A Coruña, Madrid y Santiago de Compostela, que permita la gestión y publicación efectiva de datos abiertos.
Como eje vertebrador de esta actuación se pretende consensuar la definición de una API común para la publicación de datos abiertos que facilite la posterior explotación de los datos publicados. Se proporcionará la implementación de una arquitectura de referencia para la implantación de esta API, teniendo en cuenta los componentes software que se encuentran en producción en la API que ofrece actualmente el Ayuntamiento de Zaragoza: la API REST, el punto de acceso SPARQL y el servicio de indexación y búsqueda.
Qué buscamos
- Crear una API REST de datos abiertos: se publicará y documentará el código necesario para la publicación de una API REST de datos abiertos.
- Adaptar bases de datos y anotaciones: se transformarán fuentes de datos procedentes de diversos formatos para su carga en bases de datos relacionales, utilizando el gestor de bases de datos de cada ciudad, y se crearán vistas unificadas que permitan la reutilización de las anotaciones hechas para cada uno de los conjuntos de datos.
- Adaptar procesos de carga e indexación de datos: se adaptarán en un sistema gestor de tripletas RDF para aquellos conjuntos de datos que se hagan disponibles en el punto de acceso SPARQL, y se indexarán para facilitar su búsqueda.
- Adaptar APIs a los catálogos existentes y a la API de CKAN: se realizarán los desarrollos que permitan que los catálogos de datos estén disponibles utilizando la API de CKAN, lo que facilitará su federación en datos.gob.es así como en otros portales agregadores.
- Consensuar vocabularios entre diferentes entidades locales para armonizar la publicación de conjuntos de datos de forma homogénea.
El Ayuntamiento de Zaragoza dispone de una API REST de Datos que se encuentra disponible para la consulta de los datos que tienen publicados. Partiendo de este desarrollo como base, esta actuación persigue dos objetivos principales:
- Definición de una especificación de API REST de Datos genérica y reutilizable que pueda ser adoptada por otros organismos para conseguir estandarizar la publicación de datos abiertos.
- Desarrollar una Implementación de Referencia de la API REST de Datos a partir del desarrollo del Ayuntamiento de Zaragoza que facilite a los organismos que lo deseen su despliegue para conseguir publicar la API REST de Datos definida.
Esta API REST de Datos genérica recibe el nombre de API Ciudades Abiertas. Abarca la publicación de datos correspondientes a los 27 vocabularios contemplados en el proyecto (16 previamente existentes y 11 de ellos desarrollados dentro del propio proyecto). Aunque la API se ha diseñado para incluir otros conjuntos de datos, basados o no en vocabularios, de forma sencilla.
La API admite la realización de las operaciones básicas habituales de manipulación de recursos (consultar, crear, editar y eliminar), aunque es decisión de cada organismo el permitir la realización de dichas operaciones. Sobre la API se ha implantado un sistema de seguridad básico que permite, por una parte, solicitar la identificación para todas las operaciones de modificación y escritura. Por otra parte, posibilita limitar el número de peticiones por segundo realizadas tanto de manera anónima como por cada usuario registrado, de forma que se evite afectar a los sistemas internos debido a un número elevado de peticiones.
En cuanto a los formatos contemplados por la API, los datos se pueden solicitar tanto en formatos semánticos (RDF, Turtle, N-Triple, JSON-LD) como en otros formatos reutilizables (JSON, XML, CSV). Por defecto son proporcionados en formato JSON.
Los requisitos técnicos para el despliegue de la API son:
- Java 8 / OpenJDK 11
- Tomcat 8.5
- Base de datos: Oracle, Sql Server o MySQL
Para favorecer la adopción de esta API Ciudades Abiertas, el proceso de instalación de su Implementación de Referencia es fácil y sencillo. La API está organizada de forma modular, lo que permite seleccionar los módulos que se desean utilizar.
Tanto la especificación de la API Ciudades Abiertas como su Implementación de Referencia se encuentran disponibles en el repositorio CiudadesAbiertas-API de la cuenta de GitHub del proyecto.
OpenCity-ext
Aunque se ha desarrollado el API REST de Datos genérica, la versión existente en el Ayuntamiento de Zaragoza, que se ha usado como base para el nuevo desarrollo, seguirá disponible en https://www.zaragoza.es/docs-api_sede/.
Esta API REST llamada opencity-ext, permite el acceso a los datos de diferentes servicios que el Ayuntamiento de Zaragoza pone a disposición de los usuarios para su consulta y reutilización, mediante su aprobación.
En esta actuación se han realizado trabajos de modularización de ciertos componentes ya desarrollados en Zaragoza. Este trabajo de modularización ha permitido que puedan ser utilizados de manera independiente del resto de componentes existentes en la plataforma, es decir, si un usuario/entidad/organismo quiere utilizar el servicio de Mapas Colaborativos se podrá descargar dicho módulo y no todos los servicios existentes.
Este trabajo se ha puesto a disposición de otras administraciones en el Centro de Transferencias Tecnológicas
-
Quejas y Sugerencias - Open City Zaragoza: A través del Servicio de Quejas y Sugerencias la ciudadanía puede comunicar al Ayuntamiento todas sus inquietudes, intereses y reclamaciones, con la confianza de recibir en toda ocasión una respuesta personalizada.
-
Mapas Colaborativos - Open City Zaragoza: El sistema de Mapas colaborativos desarrollado por el Ayuntamiento de Zaragoza permite la creación de Mapas Colaborativos como un instrumento de participación, colaboración y co-creación.
Este proceso de modularización también mantiene la funcionalidad de acceso al API REST que ya estaba disponible y en uso por reutilizadores de datos y la adecua, cuando ha sido necesario, a los vocabularios desarrollados dentro del proyecto. De esta manera, se mantiene la funcionalidad ya existente que es esencial para el Ayuntamiento de Zaragoza.
Dentro del proyecto Ciudades Abiertas se han elaborado una serie de informes donde se han tratado diversos aspectos de los datos abiertos: el aseguramiento de la calidad de los conjuntos de datos publicados en los portales de datos abiertos, la publicación de datos no estructurados (tales como imágenes, documentos o vídeos), pautas para la anonimización de los datos o la identificación de conjuntos de datos de alto valor para entidades locales siguiendo la propuesta de la última Directiva Europea de datos abiertos. A continuación se proporciona información más detallada sobre cada informe elaborado y el enlace para su descarga.
-
Informe sobre calidad de datos y anonimización
Este documento recoge, por una parte, una serie de guías relacionadas con el aseguramiento de la calidad de los conjuntos de datos publicados en los portales de datos abiertos, considerando tanto el contenido de las distribuciones disponibles para cada conjunto de datos como los metadatos correspondientes a estos conjuntos de datos.
El proceso de aseguramiento de la calidad se enmarca en el contexto de un marco más general sobre gobernanza de datos, fundamentado en buenas prácticas que son habituales en todo tipo de organizaciones, incluyendo empresas privadas y administraciones públicas. Basándose en este contexto general, se realizan recomendaciones generales sobre cómo asegurar una buena calidad en la publicación de los datos abiertos, con recomendaciones específicas relacionadas con cada uno de los tipos de datos que normalmente son publicados como datos abiertos. También se realizan propuestas sobre los metadatos asociados a dichos conjuntos de datos, comenzando con recomendaciones generales, basadas en fuentes bibliográficas existentes y en un análisis de fichas metodológicas asociadas a conjuntos de datos ya publicados, y realizando una propuesta específica de cómo deberían describirse estas fichas metodológicas en el futuro. Este documento también incluye un informe con recomendaciones sobre cómo abordar la anonimización de datos en el caso de que esta sea necesaria atendiendo al contenido de un conjunto de datos (por ejemplo, por contener datos sensibles como lo son los datos personales). Se describen distintas estrategias de anonimización que están siendo ampliamente utilizadas en el estado del arte, así como herramientas existentes y que podrían ser de aplicación previo a la publicación de determinados conjuntos de datos por las administraciones públicas.
Finalmente, se incluyen recomendaciones sobre las cláusulas tipo que podrían incluirse en los pliegos de prescripciones técnicas de los procesos de contratación pública para poder asegurar la apertura y la calidad de los datos, y checklists que pueden ser utilizados por los responsables de los portales de datos abiertos para asegurar una calidad mínima en los datos que se les proporcionan como resultado de la ejecución de estos contratos.
¿Cómo citar este informe?
Corcho O, De Pablo V (2021) Adaptación de estructuras de conjuntos de datos para asegurar su calidad y anonimización. DOI: 10.5281/zenodo.5942552
-
Adaptación de estructuras de conjuntos de datos para asegurar su calidad. Aplicación a conjuntos de datos de Madrid.
En este documento se presenta el trabajo realizado para demostrar la aplicación del marco de evaluación de calidad propuesto en el informe “Adaptación de estructuras de conjuntos de datos para asegurar su calidad y anonimización” sobre 10 conjuntos de datos procedentes del portal de datos abiertos del ayuntamiento de Madrid.
Se han seleccionado los siguientes conjuntos de datos:
- Censo de locales y sus actividades (terrazas)
- Accidentes de tráfico con implicación de bicicletas
- Agenda de actividades deportivas
- Contaminación acústica: Estaciones de medida
- Avisos ciudadanos sobre incidencias en vía pública
- El Plan de Gobierno (2015-2019)
- Presupuestos (histórico de proyectos 2017-2020)
- Áreas infantiles municipales
- Avanza bicicletas-motos
- BiciMAD (alta de usuarios y usos por día del servicio público de bicicleta eléctrica)
Por cada uno de los conjuntos de datos seleccionados, se ha aplicado el marco de referencia previo y se han realizado modificaciones sobre los datos ya publicados con el objetivo de mostrar cómo podrían mejorarse. Estas transformaciones se han ejecutado como scripts en OpenRefine, cuyo código se proporciona también junto con este informe, así como un vídeo demostrativo de los pasos realizados, para que puedan ser re-ejecutados en cualquier momento por los responsables del ayuntamiento, en caso de que hubiera nuevas versiones de los conjuntos de datos, y siempre teniendo en cuenta que lo deseable sería realizar las transformaciones en el origen, sin necesidad de tener que utilizar una herramienta adicional.
¿Cómo citar este informe?
Corcho, Oscar, & Chaves-Fraga, David. (2022). Adaptación de estructuras de conjuntos de datos para asegurar su calidad. Aplicación a conjuntos de datos de Madrid. Informe técnico del proyecto Ciudades Abiertas (1.0). Zenodo. DOI: 10.5281/zenodo.5942567
-
Conjuntos de datos de alto valor
El concepto de “datos de alto valor” o high-value datasets en inglés comienza a ser utilizado de manera generalizada en Europa con la publicación de la Directiva Europea 2019/1024 (comúnmente conocida como Directiva de Datos Abiertos u Open Data Directive). Los datos de alto valor se definen como aquellos conjuntos de datos que pueden tener un gran potencial para generar beneficios para la ciudadanía (y de manera general para la sociedad), considerando aspectos no sólo económicos, sino también relacionados con el medio ambiente y la economía.
A partir de la publicación de esta directiva, se han realizado varios estudios sobre el impacto de los datos de alto valor, con el objetivo de permitir su identificación, y en las transposiciones de la directiva que están realizando los distintos estados miembros (y que deberían haber estado todas disponibles en julio de 2021) se están siguiendo distintas estrategias para su identificación y catalogación. Por ejemplo, en el caso de España este trabajo aún no ha dado sus frutos y se encarga en la transposición la determinación de los conjuntos de datos de alto valor a la División Oficina del Dato.
En este informe se analizan los procesos seguidos en algunos países europeos (por ejemplo, Alemania y Holanda) y fuera de Europa (por ejemplo, Canadá) para la determinación de este catálogo en distintos niveles administrativos, y se revisan también los trabajos que previamente habían sido realizados para la identificación de estos conjuntos de datos por parte de las administraciones locales, por grupos de trabajo voluntarios como los de la norma UNE 178301:2015, la iniciativa OjoAlData100 y el grupo de trabajo de datos abiertos de la Red de Entidades Locales por la Transparencia y la Participación Ciudadana de la Federación Española de Municipios y Provincias.
Basándose en todo este trabajo previo, se propone un protocolo para la identificación y catalogación de conjuntos de datos que se podrían considerar de alto valor para las entidades locales y se utiliza este protocolo para el análisis de aproximadamente 100 conjuntos de datos que surgen de los identificados y refinados por la iniciativa OjoAlData100 y por el trabajo realizado en algunos otros países. A partir de este catálogo inicial se realiza una valoración subjetiva, basada en la opinión agregada de tres expertos, sobre distintas dimensiones de cada uno de ellos, y se realiza una primera propuesta de 50 conjuntos de datos que podrían ser considerados de alto valor, que podría servir como base para la puesta en común con otras ciudades, preferiblemente en el contexto del grupo de trabajo de la FEMP mencionado anteriormente.
Finalmente, se ofrece una propuesta para realizar la descripción de estos conjuntos de datos y para los siguientes pasos a realizar para su normalización posterior, con el objetivo de facilitar la homogeneización en la publicación de datos abiertos por parte de las administraciones locales españolas.
Este documento debe ser considerado como un documento de trabajo inicial que podrá ser cuestionado por grupos de trabajo específicos y refinado de manera periódica.
¿Cómo citar este informe?
Corcho, Oscar, & De Pablo, Vicky. (2022). Conjuntos de datos de alto valor. Informe técnico del proyecto Ciudades Abiertas (1.0). Zenodo. DOI: 10.5281/zenodo.5942571
-
Licencias para uso de imagen, vídeo, sonido y texto en portales de datos abiertos y páginas Web institucionales
Este informe ofrece una visión amplia de los derechos de autor, tanto en España como en el entorno europeo. El objetivo de este documento es que los responsables de la publicación de recursos en abierto de una administración pública puedan determinar cómo se pueden aplicar estos derechos de autor en el contexto de la publicación en abierto de distintos tipos de creaciones que van más allá de los tipos de recursos que normalmente se publican en los portales de datos abiertos.
En primer lugar, el informe presenta y describe las principales leyes sobre las que se asientan los derechos de autor, desde la Ley de Propiedad Intelectual (LPI) a la Ley orgánica de protección de datos y garantía de derechos digitales (LOPDGDD), atendiendo a todo el espectro normativo que sustenta la publicación y uso de las creaciones literarias, artísticas, audiovisuales e informáticas. Se pone especial énfasis en el actual contexto económico y social, en el que los servicios de la sociedad de la información e Internet han tomado el testigo de la edición en formatos clásicos (papel, vídeo, etc.) y la distribución tradicional (librerías, museos, fonotecas, filmotecas, etc.).
Tras explorar cómo se publican algunos de estos recursos en portales de datos abiertos, se proporciona un análisis detallado y un conjunto de recomendaciones sobre aquellas licencias que pueden ser consideradas como las más adecuadas para cada uno de los tipos de recursos que podrían ser publicados en un contexto de apertura de “datos”, entendidos desde una perspectiva amplia del término (más allá de lo habitual en portales de datos abiertos): textual, visual, sonoro, etc.
Finalmente, se proponen dos recursos que pueden ser utilizados directamente por las entidades locales que tengan interés en hacer todos sus contenidos reutilizables, más allá de los datos abiertos. Por un lado, se proponen las cláusulas que podrían ser aplicables en el contexto de la contratación pública para aquellas licitaciones y sus posteriores contratos en las que se generen este tipo de recursos, inspiradas por la cláusula de datos abiertos propuesta por la Federación Española de Municipios y Provincias. Y en segundo lugar se presenta una recomendación básica sobre los pasos a realizar para conseguir que los contenidos existentes (y futuros) en la Web de una entidad local sean reutilizables siempre que sea posible.
¿Cómo citar este informe?
Corcho, Oscar, & De Pablo, Vicky. (2022). Licencias para uso de imagen, vídeo, sonido y texto en portales de datos abiertos y páginas Web institucionales. Informe técnico del proyecto Ciudades Abiertas (1.0). Zenodo. DOI: 10.5281/zenodo.5942590
La finalidad de la actuación es realizar una propuesta de infraestructura tecnológica que permita a los Ayuntamientos de A Coruña, Madrid y Santiago de Compostela la gestión y publicación de datos abiertos siguiendo la especificación de la API REST de Datos definida en otra de las actuaciones del proyecto. Aunque la propuesta está adaptada a los ayuntamientos participantes en el proyecto, las conclusiones obtenidas se pueden generalizar para que otros organismos las puedan aplicar en sus propios entornos tecnológicos.
Se cuenta de partida con una serie de requisitos divididos en dos bloques principales. Por una parte se encuentran los requisitos relacionados con el dato: abierto, procesable por defecto, único, compartido, accesible, georreferenciado y descrito semánticamente. Y por otra parte se detallan los elementos y funcionalidades con los que debe contar la infraestructura tecnológica: API REST de Datos, punto de acceso SPARQL, servicio de indexación y búsqueda, integración de nuevas fuentes de datos, mantenimiento y monitorización de los procesos, combinación de información almacenada en distintos repositorios, publicación de versiones o históricos, datos en tiempo real o cuasi-real, operaciones de escritura.
Partiendo de estas premisas, dentro del proceso de consultoría se han analizado diversos aspectos tecnológicos en cada uno de los ayuntamientos, recopilando en primer lugar las necesidades de cada ayuntamiento, analizando las soluciones disponibles para cada punto analizado y finalmente proponiendo la solución idónea según el estado de cada ayuntamiento. Las áreas analizadas han sido las siguientes:
- Fuentes de datos: identificación de los diversos tipos de fuentes de datos en los que se encuentra almacenada la información (bases de datos, repositorios de Big Data, ficheros CSV, ficheros de texto, datos en tiempo real, acceso a través de API’s, etc.). Por cada fuente de datos se analiza el tipo de los datos, su volumetría, la existencia de vocabularios que apliquen a la temática, etc. Aunque el análisis ha sido global, se ha prestado especial atención a los 27 conjuntos de datos contemplados dentro del proyecto.
- Procesos batch / ETL’s: análisis de las características y funcionalidades que deben presentar los procesos de extracción de información de las fuentes de datos para su incorporación en el repositorio común, así como de las tecnologías a utilizar.
- Repositorio común de datos: análisis de la conveniencia de un repositorio de estas características y de las ventajas y desventajas que conlleva frente a otras aproximaciones. Estudio de las soluciones tecnológicas disponibles para la construcción de un repositorio común semantizado.
- API: análisis de las funcionalidades que debe cubrir el API de publicación y acceso a los datos. Se valorará la utilización de otras API’s que constituyan estándares o al menos estándares de facto. Este apartado se relaciona con la API REST de Datos de Ciudades Abiertas puesto que al menos debe existir compatibilidad entre las soluciones que se definan.
- Terceras partes: análisis de otros elementos relacionados con la publicación de datos abiertos como pueden ser las visualizaciones, publicaciones y accesos externos. Dentro de este apartado se engloba la disponibilidad de un punto SPARQL para la consulta de los datos.
- Indexación de los datos: dentro de la solución se debe incorporar un motor de búsqueda que de soporte a las funcionalidades de búsqueda por texto libre entre los datos publicados.
- Tripletas RDF: al trabajar con conjuntos de datos semantizados se generarán ficheros RDF que deben ser gestionados correctamente por la plataforma.
Las infraestructuras tecnológicas propuestas dan respuesta a cada uno de los puntos mencionados. En estas soluciones se ha tenido en cuenta tanto la especificación como la implementación de referencia de la API Ciudades Abiertas, que se convierte en el eje vertebrador que posibilitará la utilización de una API común para la publicación de datos abiertos que facilite la posterior explotación de los datos publicados.
Como resultado de este trabajo de consultoría se obtiene un plan estratégico de implementación de las soluciones propuestas en cada uno de los ayuntamientos participantes. El siguiente paso dentro de la actuación es ir abordando cada una de las tareas identificadas en el plan estratégico hasta conseguir implantar en cada ayuntamiento la infraestructura que permita la gestión y publicación de datos abiertos.
Se hace necesario comentar dentro de este apartado de infraestructura tecnológica que el Ayuntamiento de Zaragoza ya dispone de su propia estructura tecnológica, que cumple con los puntos indicados anteriormente (fuente de datos, API, tripletas, etc.) que se ha utilizado en el estudio previo realizado para definir la propuesta tecnológica. También se hace necesario destacar que el trabajo de modularización de Sede que se ha llevado a cabo es compatible con la infraestructura tecnológica actual y añade las partes de la propuesta tecnológica descrita anteriormente en aquellos casos que sea necesario.
Para obtener más información de los módulos de servicios del Ayuntamiento de Zaragoza, se recomienda visitar el apartado "API OpenCity".
Uno de los pilares en los que se basan las políticas de Gobierno Abierto es la publicación de los datos generados por la propia administración. Los cuatro ayuntamientos participantes en el proyecto Ciudades Abiertas creen firmemente en la utilidad de estos datos para los diferentes sectores de la sociedad (ciudadanía, empresas e incluso las propias administraciones públicas) y su distribución de forma libre sin restricciones de acceso ni copyright para generar valor dentro de la sociedad. Estos beneficios se concretan en un aumento de la transparencia de las instituciones, mayor eficiencia al disponer de datos fiables con los que trabajar, fomento de la participación ciudadana al tener accesibles los datos para su consulta y por último un favorecimiento del desarrollo económico al posibilitar nuevas e innovadoras oportunidades de negocio.
Durante el desarrollo del proyecto los ayuntamientos han aprovechado para desarrollar, mejorar y evolucionar los portales de datos abiertos de que ya disponían. En el caso de Santiago de Compostela, al no disponer previamente de un portal de este tipo, se ha desarrollado su portal de datos abiertos dentro de la iniciativa. A continuación se proporcionan los enlaces a los portales de datos abiertos de cada una de las ciudades:
