ES:Catastro español/Importación de edificios/Infraestructura

	Guía de importación		Gestión de proyectos		Resultados		Documentación
Esta página es un borrador describiendo los requisitos de una infraestructura de servicios para esta importación. Antecedentes Actualmente el proceso de conversión se basa en la herramienta CatAtom2Osm + repositorio en GitHub + Gestor de Tareas siguiendo estos pasos: Un voluntario (usuario gestor) decide convertir un municipio (o una fracción) y genera una serie de archivos *.osm.gz (tareas). Publica los archivos en el repositorio de GitHub. Es necesario una cuenta y recibir acceso. Crea un proyecto en el Gestor de Tareas. Hace falta recibir acceso. Otros voluntarios (usuarios colaboradores) revisan los archivos y los sube a OSM. Hace falta una cuenta OSM de importación dedicada. Se pretende automatizar todo lo posible los pasos 1, 2 y 3 y centralizarlos en los servicios de OSM España. Tenemos como ejemplo el trabajo elaborado en Francia. Particularidades de la conversión de datos Los datos están disponibles en Catastro para su descarga por municipio. Se actualizan cada seis meses. La conversión de edificios sin direcciones es automática. Por el contrario, si se quiere importar direcciones, el programa primero prepara los edificios, genera un resultado intermedio (en formato shp) y requiere la intervención del usuario para comprobar la transcripción de los nombres de calles que figuran en Catastro a los que hay en OSM. En la segunda ejecución se generan los resultados finales. El nuevo sistema de conversión tendrá que solicitar la comprobación de las calles antes de poder proceder a la descarga. El programa marca problemas en algunos edificios con etiquetas "fixme" que el usuario gestor debe corregir antes de publicar. Se tendrá que cambiar el mecanismo de etiquetas "fixme" actual por otro que avise a los usuarios de los problemas que deben de corregir cuando editan la tarea para importarla, o configurar JOSM para que no deje subir las etiquetas fixme. La duración del proceso depende del municipio, desde unos pocos segundos a varios minutos. La segunda fase (direcciones) tarda menos que la primera. Se puede reducir el tiempo de respuesta procesando fracciones de municipio o una tarea individualmente. Ayuda (requerida) Todo está por definir, colabora en la página de discusión o en el canal de Telegram. En particular se buscan programadores (Python, HTML, Javascript, JOSM, Java) y administradores de sistemas linux. Estrategias de conversión A) A demanda (similar a http://cadastre.openstreetmap.fr/): El usuario selecciona en una web un municipio (o fracción) y el tipo de conversión (direcciones, edificios, edificios + direcciones). Se inicia el proceso de conversión, se notifica al usuario cuando termina. Si la conversión incluye direcciones, se presenta al usuario una tabla para confirmar la conversión de los nombres de calles. Cuando termine se continúa con el proceso. Queda disponible para descargar el archivo necesario para crear un proyecto en el Gestor de Tareas y los archivos que se podrán descargar desde éste. Esta opción ya está implementada en catastro.openstreetmap.es. B) Masiva (similar a FR:JOSM/Greffons/Cadastre-fr): Se procesan todos los municipios. Se crean los archivos de tareas conteniendo solamente edificios. Se conservan los archivos intermedios necesarios para pasar a la siguiente fase de direcciones. A través de un complemento de JOSM o aplicación web, el usuario selecciona un punto. Si no se desean direcciones, se descarga inmediatamente la tarea de edificios correspondiente. Si el usuario quiere incluir direcciones, se redirige a una tabla de confirmación de la conversión de nombres de calles. Al tratarse de una única tarea, el número de calles será reducido. No deben aparecer las calles que ya estén confirmadas. Cuando termine, se genera el archivo de la tarea incluyendo direcciones. La estrategia deseable es la B, pero lleva más trabajo. Elementos necesarios La mayoría son necesarios tanto si se opta por la opción A como la B. Servidor Overpass Al convertir direcciones se combinan los nombres de las calles con los existentes en OSM. Eso implica dos consultas a Overpass API. Cuando el municipio es grande, los servidores públicos no pueden responder (timeout). También hace falta consultar las divisiones administrativas menores (barrios y distritos) del municipio. Se ha implementado una instancia propia del servidor en osm3s.cartobase.es, mediante una modificación de esta imagen docker. API CatAtom2Osm Se ha implementado en cat.cartobase.es/api una API web para que las herramientas que se desarrollen puedan interactuar con CatAtom2Osm. Conversor masivo Script que complete la conversión inicial de todos los municipios para la estrategia B. Servicio de descarga En la estrategia A sería un simple servidor web. En la B debe controlar para cada tarea si está libre para importar, bloqueada por un usuario para editar, completada o requiere actualización. Servicio de subida Se sustituye el actual alojamiento de archivos en el repositorio de GitHub por cat.cartobase.es. Los archivos generados a través de la wwb están disponibles para enlazar por el gestor de tareas. Falta implementar importar proyectos generados externamente. Servicio de procesado Aplicación web para la estrategia A en catastro.openstreetmap.es. Clientes Opciones alternativas, no excluyentes para la estrategia B. Aplicación web Similar al gestor de tareas pero con un único proyecto de importación. Existe un prototipo en desarrollo. Complemento JOSM Similar al Francés. Conversión de nombres de calles Aplicación web para confirmar el emparejamiento de nombres de calles en Catastro y OSM. Está implementada dentro de catastro.openstreetmap.es. Seguimiento Servicio que muestre mapas y estadísticas de las tareas que han sido importadas y las que quedan pendientes. Si se implementa el cliente web estaría integrado en él. Actualizador Servicio que vigile la publicación de actualizaciones de Catastro. Se regenerarán las tareas que no hayan sido importadas. Para las que sí han sido importadas, se analizará las diferencias. Validación Estudiar crear validaciones propias en JOSM para subir el menor número posible de errores. Esto eliminaría la necesidad de marcar fixmes. En lugar de que sea opcional usar herramientas de control de calidad externas, implementar una propia que vigile los cambios subidos en la importación, los valide y avise a los autores de las incidencias detectadas.