ES:Catastro español/Importación de edificios/Gestión de proyectos (mediante línea de comandos)

	Guía de importación		Gestión de proyectos		Resultados		Documentación
Para la versión actualizada de esta documentación, véase ES:Catastro español/Importación de edificios/Gestión de proyectos. Las importaciones y ediciones automatizadas deben ser llevadas a cabo por personas con experiencia y suficiente conocimiento de la forma en que la comunidad OpenStreetMap crea mapas y con una cuidada planificación y consulta con la comunidad local correspondiente. Véanse nuestras directrices de importación y nuestro código de conducta de ediciones automatizadas para más información. Las importaciones o ediciones automatizadas que no sigan estas directrices ¡se pueden revertir! Esta página conserva la documentación original del proceso como referencia histórica y para aquellos que deseen seguir utilizando la herramienta mediante línea de comandos en lugar de la interfaz web. ¿Necesitas ayuda? No dudes en contactar a través de cualquiera de estos medios: Lista de correo Talk-es Canal de Telegram/Matrix Foro users: Spain. Allí encontrarás otros usuarios dispuestos a resolver tus dudas o colaborar en lo necesario. Pasos previos Es interesante que conozcas cómo es el proceso de participación activa en un proyecto para poder gestionarlos. Anímate a colaborar primero con un proyecto activo siguiendo la guía de importación. Manda un mensaje comunicando la zona donde vas a importar. Instala el programa CatAtom2Osm. Revisión de nombres de calles No se deben importar los nombres de calles tal como vienen de Catastro. Incumplen nuestras reglas de normalización (están en mayúsculas, sin tildes y con otros problemas). CatAtom2Osm ayuda a corregirlos intentando emparejar el nombre en Catastro con el nombre en OSM más parecido y cercano. Si no encuentra una coincidencia realiza una corrección preliminar como sugerencia de cuál debería ser el nombre correcto. El procedimiento será, antes de importar direcciones en una zona, detectar las calles sin nombre o con errores, recoger información y realizar una serie de ediciones para completar y corregir los datos de OSM. Cuando el programa no encuentra el nombre en OSM y lo corrige a partir de Catastro se transforman las mayúsculas, se expanden las abreviaturas de tipos de calle que usa Catastro (CL=Calle, AV=Avenida, etc.), pero seguirán habiendo errores ortográficos y otros. En el tipo de vía pueden aparecer opciones dobles (Aldea/Alameda, Calleja/Callejón, Carretera/Carrera). También puede aparecer información que no pertenece al nombre de la calle, como nombres de lugar, que no deben incluirse. No hay que preocuparse por encontrar todos esos errores en los datos de Catastro, lo importante es comprobar que estén bien los datos de OSM, ya que serán los que el programa emplee antes de importar. Las ediciones en el mapa resultado de esta fase deben hacerse con la cuenta de usuario habitual de OSM, no con cuentas dedicadas de importación. Conviene etiquetarlas con #1calle1nombre y el nombre del municipio en el comentario del conjunto de cambios. Resumiendo: El programa hace lo posible por emparejar los nombres de las calles con los de OSM, pero puede cometer errores. Tienes que revisar una por una cada calle del archivo highway_names.csv, para ver si se ha emparejado con la calle correcta en OSM. Si no existe la calle en OSM hay que comprobarlo y subirlo. Si el programa se ha equivocado, corregir la conversión. Buscar calles sin nombre en OSM Genera con las opciones por defecto del programa los datos transformados para el municipio (ddddd es su código): catatom2osm ddddd Si tienes problemas para usar el programa, puedes solicitar que otro usuario convierta los datos por ti. Abre en JOSM el archivo 'current_highway.osm'. Contiene las calles (y plazas) del municipio que tienen nombre. Abre en JOSM el archivo 'address.osm'. Contiene las direcciones con la conversión provisional de nombres de calles. No se va a importar este archivo. Utilízalo como guía para visualizar las direcciones. Con el estilo CouloredStreet activado cada calle se verá de un color bien diferenciado. Compara con la capa 'current_highway.osm' de fondo. Las calles con nombre se verán como líneas grises. En esta fase buscamos calles a las que les falte el nombre. ¿Hay zonas de puntos coloreados sin su calle correspondiente? Ejemplo de revisión de calles sin nombre (flechas rojas). En esta imagen puedes ver un ejemplo sacado de un caso real en el que faltan varias calles. Concretamente las siguientes: Ejemplo de calles ausentes en OSM Nombre Acción Calle Calle A (Fasnia) No existe Calle Calle B (Fasnia) No existe Carretera/Carrera Zarza (Zarza la) Revisar sobre el terreno Calleja/Callejón (Fasnia) Revisar sobre el terreno Calle las Vistas Revisar sobre el terreno Calle Sinforosa (Fasnia) Revisar sobre el terreno Calles con nombres tales como A, B, 1, 2 son típicas de datos procedentes de un plan urbanístico. Lo más probable es que no tengan correspondencia verificable sobre el terreno y por tanto no se incluirán. Las demás serán prioridad para revisar. Buscar calles con nombre incorrecto en OSM Abre en JOSM el archivo 'current_highway.osm'. Ahora buscamos calles de OSM con nombre incorrecto. Si hay calles que tengan continuidad y colores diferentes, se debe a que los nombres son distintos. Si son similares puede ser un error ortográfico. Como en este ejemplo, a la Calle Emiliano Díaz Castro le falta la tilde. Ejemplo de revisión de calles con nombres similares (flechas rojas). Puedes dar un repaso conjunto a las calles. Selecciona todas las vías y sus nombres aparecerán listados en la ventana de selección. Abre en JOSM el archivo 'address.osm'. Combínalo (opción Unir capa del menú Editar) con 'current_highway.osm' (sin guardar el resultado). Comprueba donde empiezan y terminan las calles de OSM y donde deberían hacerlo según los nodos de las direcciones, su color y su secuencia de números de portal. Resulta útil seleccionar todas las direcciones de una calle como en la imagen siguiente. Recuerda que no hace falta editar estos archivos, estamos buscando cosas que hay que corregir en el mapa de OSM. Selecciona una dirección y haciendo clic con el botón derecho en la etiqueta con el nombre de la calle, la opción Buscar clave/valor permite seleccionar todas las direcciones de esa calle. Puedes abrir el archivo 'highway_names.csv'. Está en formato de texto con valores separados por punto y coma, que puedes abrir con cualquier editor de texto o aplicación de hoja de cálculo. Contiene dos columnas, a la izquierda los nombres de los viales en Catastro, a la derecha los nombres que ha podido emparejar con datos de OSM o, en caso contrario, la conversión propuesta. No hace falta que lo edites, pero puedes comprobar la ortografía de los nombres de las calles en OSM pasando un corrector. Ejemplo de archivo de correcciones de nombres. Recoge información local Para completar las calles sin nombre y las dudas que hayan surgido, ¿en tu grupo de trabajo hay conocimiento local? Si no es así, ¿que tal organizar una excursión para recoger datos sobre el terreno? También puedes probar a contactar con más colaboradores del mapa en la zona. ¿Hay disponible alguna fuente local de datos que sea compatible con ODbL? Si la fuente necesitara pedir autorización, ¿te animas a escribir al Ayuntamiento? Si está publicado el Plan General del municipio, puedes utilizarlo, se encuentra en el Dominio Público según el artículo 13 de la Ley de Propiedad Intelectual (ver ES:Fuentes de datos potenciales de España#Aspectos legales. Puedes usar la página de lugar de cada municipio en la Wiki para coordinar las tareas de revisión. Corregir los nombres de las calles en OSM Con la información recogida hay que editar las calles existentes en OSM para añadir los nombres a las calles que no lo tengan, hacer las correcciones necesarias y añadir la etiqueta noname=yes a las calles que no tengan nombre. Recuerda no usar los archivos generados por el programa, descarga los datos del mapa en una capa en blanco. Las ediciones en el mapa resultado de esta fase deben hacerse con la cuenta de usuario habitual de OSM, no con cuentas dedicadas de importación. Conviene etiquetarlas con #1calle1nombre en el comentario del conjunto de cambios. Corregir los nombres de las calles a importar Una vez subidas las correcciones al servidor de OSM. Elimina los archivos 'current_highway.osm' y 'highway_names.csv'. Ejecuta de nuevo el programa catatom2osm. Repite el proceso con los nuevos ficheros 'address.osm' y 'current_highway.osm' abiertos en JOSM y 'highway_names.csv' abierto en la hoja de cálculo. Ahora hay que comprobar si los nombres que aparecen en la segunda columna son correctos. El programa intenta reemplazar de forma automática el nombre de las calles de Catastro con el más similar en OSM. ¿Ha acertado o ha cogido otra calle cercana con nombre parecido? En ese caso realiza las correcciones en el archivo 'highway_names.csv'. En esta fase no estamos revisando las direcciones a nivel de número de portal, no te molestes en editar el contenido del archivo 'address.osm', sirve sólo para comprobar los nombres de las calles. Si se desea excluir de la importación las direcciones referidas a determinado nombre de calle, se puede dejar en blanco su conversión o borrar la línea. Hazlo para las calles etiquetadas con noname=yes en la fase anterior y para aquellas calles en las que no se haya podido resolver las dudas sobre su nombre correcto. No importar direcciones para las que existan dudas. Elimina el archivo 'current_highway.osm', ¡pero no 'highway_names.csv'! La próxima vez que ejecutes el programa se recogerán los nombres de calles corregidos del archivo 'highway_names.csv' y se incorporarán las direcciones postales en los edificios. Revisión de núcleos de población No tiene mucho sentido importar edificios si no aparece correctamente en el mapa el nombre de la población donde están. La mayoría de poblaciones españolas ya aparecen en el mapa, pero pueden quedar núcleos menores o barrios que no están todavía. Al revisar las direcciones podemos encontrar muchas que se refieren a lugares (las que empiezan por Lugar, Diseminados, Urbanización). Para estas, se debe colocar el nombre del sitio en la etiqueta addr:place=* en lugar de en addr:street=*. Las calles que correspondan a estas direcciones no deben llevar nombre (noname=yes y debe haber un nodo o área con la etiqueta de lugar place=* correspondiente. Añade estos lugares al mapa con la cuenta de usuario normal antes de importar. Generar y corregir los archivos a importar En la mayoría de los casos, para generar los archivos a importar de un municipio es suficiente con usar las opciones por defecto del programa: catatom2osm ddddd Donde ddddd es el código identificador del municipio. Si necesitas averiguar el código de un municipio, la opción '-l' lista todos los de una provincia: catatom2osm -l dd Donde dd es el código de Oficina Territorial de Catastro de la provincia. Los ficheros que contienen las tareas a importar se crean en la carpeta 'ddddd/tasks'. Antes de publicar los archivos es necesario revisar el resultado y corregir manualmente los problemas detectados por el programa. Repasa el archivo 'report.txt', en especial la sección de problemas. El archivo 'review.txt' contiene una lista de los archivos de tareas que necesitan revisión por contener etiquetas 'fixme' o haber generado avisos del programa. Ábrelos en JOSM, revisa los problemas comprobando las geometrías afectadas con la imagen aérea de fondo. Consulta también las imágenes de fachada y otras fuentes aprobadas de imágenes como OpenStreetCam o Mapillary. Corrige el problema indicado por el 'fixme' si es necesario, elimina todas las etiquetas fixme que hayas corregido y guarda el archivo el objetivo es que no queden problemas a corregir al publicar los archivos. Posible Error Imagen Área demasiado grande: Edificio con área mayor que la indicada en el archivo 'config.py' opción 'warning_max_area'. Si no se corresponde a un edificio real, elimínalo. Área demasiado pequeña: Edificio con área menor que la indicada en el archivo 'config.py' opción 'warning_min_area'. Si no se corresponde a un edificio real, elimínalo. Esta parte es mayor que su edificio: Una parte de un edificio no puede ser más grande que el edificio que la contiene. Resuélvelo ampliando el contorno del edificio o recortando la parte según sea oportuno. Validación GEOS: La geometría no ha superado las pruebas de validación de la librería GEOS. En este ejemplo, una parte interior de un multipolígono está tocando el borde exterior del mismo. Se puede resolver eliminando la relación multipolígono y colocando las etiquetas de altura en cada parte por separado. El edificio de OSM con id %s no es válido: Se ha encontrado un edificio con geometría no válida en OSM. En este caso el problema no está en los datos de Catastro sino en los de OSM. Si este edificio no va a ser reemplazado con los nuevos datos (ver combinación), debes corregirlo. Las partes de edificio no cubren todo el contorno: El esquema Edificios 3D sencillos requiere que las partes cubran todo el contorno del edificio. En ocasiones, las partes de edificio presentes en los datos de Catastro no cumplen este requisito. Esto sucede principalmente cuando hay balcones o terrazas, pero también cuando la información simplemente no está disponible. Esto último se puede detectar cuando la imagen de fondo de Catastro muestra una interrogación en el lugar de la etiqueta correspondiente al nivel. En el primer caso, se puede añadir el balcón dibujando a mano la parte que falta y asignando las etiquetas adecuadas. En el segundo caso, en función de lo que podamos ver en otras fuentes se puede editar una de las partes adyacentes para que cubra el hueco. En cualquier caso, si decidimos no incluir esta parte, se debe modificar el contorno del edificio para ajustarse a las partes que si existen. Cuando hayas corregido todos los problemas asegúrate de ejecutar el programa con la opción '-c' para que se añadan a los archivos de tareas los metadatos eliminados por JOSM al editarlos. Estos metadatos son fundamentales para mantener identificados los conjuntos de cambios. catatom2osm -c ddddd Publicar los archivos de tareas Para que los archivos de tareas estén disponibles a otros colaboradores utilizamos el repositorio que está en https://github.com/OSM-es/catastro-import. Es necesario registrarse en GitHub y solicitar a los administradores del repositorio que te den permisos de edición. El proceso requiere unos conocimientos mínimos de Git. Hay mucha información disponible, por ejemplo aquí. El primer paso es clonar el repositorio. git clone https://github.com/OSM-es/catastro-import.git Respeta las carpetas creadas por otros usuarios. No hagas ningún cambio en ellas. Crea una carpeta para cada municipio a importar identificada por su código. Copia en ella los archivos y carpetas contenidos en la carpeta 'tasks'. Luego los añades al repositorio y los subes. Por ejemplo, suponiendo que el municipio es 38001 y que el directorio actual es 'catastro-import', los comandos serían los siguientes: git add 38001 git commit -m "38001 Adeje Tenerife" git push origin master Alternativamente hay clientes gráficos para no tener que usar comandos. Otra forma posible para usuarios más acostumbrados a usar esta herramienta es hacer un fork del repositorio y proponer un pull-request con los cambios. De esta forma no son necesarios permisos de edición. Crear proyectos La importación queda abierta a que distintas personas puedan colaborar en ella a través del Gestor de Tareas. Para poder crear proyectos en este gestor necesitas solicitar que asignen permisos a tu usuario de importación. El proyecto en el gestor de tareas se define a través del archivo "zoning.zip" generado por el programa. El archivo contiene los polígonos que delimitan cada tarea para su visualización por el gestor y datos asociados: el número que identifica la tarea y el texto con las instrucciones donde vienen los enlaces para descargar el archivo de la tarea o iniciar su edición con el control remoto de JOSM. En ambos casos se incluye un enlace hacia el repositorio de GitHub que es el que contiene los archivos. Se detallan los pasos para crear un proyecto: # Instrucción Imagen 1 Entra en el Gestor de Tareas e inicia sesión con tu cuenta de importación. 2 Haz clic en el enlace con tu cuenta y en la opción Crear un nuevo proyecto 3 Haz clic en Importar y selecciona el archivo zoning.zip 4 Haz clic en Geometrías arbitrarias y Siguiente 5 Comprueba el número de tareas que se han creado y haz clic en Crear proyecto 6 Completa los campos para describir el proyecto seleccionando el idioma adecuado en cada campo. Al final de este apartado tienes una tabla para copiar y pegar los textos. Haz clic en Guardar las modificaciones 7 Ya tienes el borrador del proyecto, ahora haz clic en Editar 8 Haz clic en la pestaña Instrucciones y completa sus campos seleccionando el idioma adecuado en cada campo. Consulta la tabla al final de este apartado. Cuando termines haz clic en Guardar las modificaciones 9 Si es tu primer proyecto coméntaselo a alguien con más experiencia para que lo revise antes de publicarlo. Cuando esté todo correcto puedes volver a editar el proyecto y cambiar su estado a Publicado. Plantilla Puedes hacer uso de los siguientes comentarios para completar los campos de texto del gestor de tareas: Campo Español (es) Inglés (en) Nombre del proyecto Catastro de <Nombre de la zona> Cadastre of <Nombre de la zona> Descripción breve Importación de edificios [y direcciones] de <Nombre de la zona> Import of buildings [and addresses] of <Nombre de la zona> Descripción El trazado de edificios y las direcciones postales son datos de mucho valor para el mapa de OpenStreetMap. Actualmente no son muchos los municipios españoles que disponen de esta información y es por ello que desde OpenStreetMap España se está impulsando la importación de algunos de los datos catastrales. ¡Ayúdanos a que el mapa de OpenStreetMap sea todavía más útil! Consulta la [guía de importación](https://wiki.openstreetmap.org/wiki/ES:Catastro_espa%C3%B1ol/Importaci%C3%B3n_de_edificios/Gu%C3%ADa_de_importaci%C3%B3n) para colaborar. (Añade aquí instrucciones detalladas para este proyecto en particular: por que zona empezar, que fuentes locales hay disponibles, como contactar con el grupo local (enlace a la página del lugar en la Wiki), etc.) Building footprints and postal addresses are very valuable data for the OpenStreetMap map. Currently there are not many Spanish municipalities that have this information and that is why OpenStreetMap Spain is promoting the import of some of the cadastral data. Help us make the OpenStreetMap map even more useful! Check the [import guide](https://wiki.openstreetmap.org/wiki/Spanish Cadastre/Buildings Import/Import guide) to collaborate. (Añade aquí las mismas instrucciones en inglés.) Objetos a cartografiar buildings[, addresses] Comentario del conjunto de cambios #Spanish_Cadastre_Buildings_Import <Nombre de la zona> Instrucciones detalladas Revisa la tarea siguiendo las instrucciones de la [guía de importación](https://wiki.openstreetmap.org/wiki/ES:Catastro_espa%C3%B1ol/Importaci%C3%B3n_de_edificios/Gu%C3%ADa_de_importaci%C3%B3n). Review this task following the instructions in this [import guide](https://wiki.openstreetmap.org/wiki/Spanish Cadastre/Buildings Import/Import guide). Instrucciones adicionales para esta tarea Descarga el [archivo de la tarea](https://github.com/OSM-es/catastro-import/raw/master/{muncode}/{localId}.osm.gz) o [Editar con Control Remoto de JOSM](http://localhost:8111/import?new_layer=true&url=https://github.com/OSM-es/catastro-import/raw/master/{muncode}/{localId}.osm.gz). Tipo: {type}. Complejidad: {parts} partes. Revisa la tarea siguiendo las instrucciones de la [guía de importación](https://openstreetmap.es/catastro). Consulta las fotos de fachada de los edificios haciendo uso del complemento **pointinfo** que se activa con *Ctrl-Maýus-x*. (Introduce el texto en español debido a un problema con el gestor de tareas que muestra siempre el texto en inglés independientemente de la configuración del usuario.) Publicación del proyecto Una vez que el proyecto pasa a estado publicado dalo a conocer a otros usuarios para que puedan participar. Puedes utilizar cualquiera de los canales de comunicación relacionados en la página de España (como la lista de correo o Telegram), también puedes usar la página de lugar del municipio (y crearla si no existe), mira como ejemplo la de Málaga. Revisión Siguiendo el flujo de trabajo del Gestor de Tareas, es conveniente que cada tarea sea validada por un colaborador distinto del que la realiza. El objetivo es validar 100% de las tareas del proyecto. También, cada proyecto de importación incluirá una fase final de revisión por los gestores mediante herramientas de control de calidad. Los gestores encargados de una zona se encargarán de controlar posibles importaciones masivas realizadas con la herramienta de conversión. Para ello existen estas opciones: Usa esta consulta de overpass turbo como plantilla, selecciona el área y la fecha adecuadas. Los municipios tienen admin_level=8, las provincias admin_level=6. Usa esta consulta de OsmCha como plantilla y fíltrala por BBox (localización). Seguimiento y finalización Para controlar el estado de la importación a nivel nacional, anota tus proyectos en la página de resultados (en la versión en inglés también, por favor) y actualiza su estado. Una vez que el proyecto está 100% completado y 100% validado, edítalo y ponlo en estado Archivado, para dejar sitio a nuevos proyectos en la página inicial del gestor. Como algunas tareas pueden tener un tamaño muy pequeño es difícil comprobar con el gestor que no quede ninguna sin completar o sin validar. Para asegurarse, es recomendable usar la opción 'Exportar' del proyecto. El archivo 'geojson' descargado contiene para cada tarea un campo 'state' con los valores 1 (tarea no realizada), 2 (tarea completada) y 3 (tarea validada). Comprueba si existe alguna tarea con el valor "state"=2 o "state"=3 y podrás acceder a ella en el gestor empleando su campo 'id' en la URL: http://tareas.openstreetmap.es/project/<id_proyecto>#task/<id_tarea> Actualización Los gestores de proyecto deben conservar los archivos originales de Catastro utilizados para la importación (los archivos A.ES.SDGC.??.?????.zip). Servirán para poder detectar diferencias con los archivos publicados posteriormente en busca de edificios que es necesario añadir, modificar o eliminar. La herramienta CatAtom2Osm proporcionará en futuras versiones una característica para comparar dos conjuntos de datos. Los gestores se encargarán de mantener actualizada su zona de importación. Las actualizaciones de Catastro se publican dos veces por año. Anexo: Modificar proyectos El archivo de definición de proyecto que genera el programa es adecuado para la mayoría de los municipios, pero cuando el municipio tiene un número de edificios considerable la revisión e importación puede requerir mucho tiempo. En estos casos podría ser aconsejable realizar una división en proyectos más pequeños y publicarlos sucesivamente. El programa permite generar un proyecto para una fracción de un municipio usando un archivo que contenga los límites deseados. Este archivo se puede generar en JOSM de dos maneras: dibujando o aprovechando un límite administrativo existente. La imagen muestra un área dibujada en torno a una población pequeña dentro de un municipio grande. Es conveniente mostrar la imagen de fondo de Catastro para trazar el área. Los datos se filtrarán en función de las parcelas que entren dentro. Se considera que está dentro si la parcela tiene al menos un 50% de su área en el interior del límite. Es muy importante crear una relación multipolígono (Herramientas > Crear multipolígono Ctrl-B). El resultado se puede guardar en formato OSM o GeoJSON. Si están disponibles en OSM los límites administrativos de distritos o barrios dentro del municipio es mucho mejor usarlos. Puedes utilizar la API de Overpass para descargarlos. Por ejemplo, esta es la expresión del asistente para un distrito en Granada y la consulta correspondiente: boundary=administrative and name=Beiro in Granada [out:xml][timeout:90]; {{geocodeArea:Granada}}->.searchArea; ( nwr["boundary"="administrative"]["name"="Beiro"](area.searchArea); ); (._;>;); out meta; Puedes grabar el resultado de la consulta en formato OSM. Si por el contrario quieres usar formato GeoJSON es importante que exista una relación multipolígono. La opción del programa para indicar que queremos fraccionar un municipio es -s. catatom2osm -s beiro.osm 18900 Los archivos de tareas se generan en la carpeta '18900/tasks'. Como cada archivo se nombra con el código de la parcela, no debe de haber conflicto con otras fracciones del municipio generadas posteriormente. Los archivos que es importante conservar se colocan en '18900/tasks/beiro'. El contenido de la carpeta 'tasks' se sube al repositorio de la forma habitual. Con la opción -s del programa también se pueden descargar los límites administrativos de un barrio o distrito indicando su nombre o el identificador en OSM de la relación que define los límites. catatom2osm -s Beiro 18900 El programa descarga de OSM un archivo con los límites del barrio de Beiro en Granada (18900) y procesa las parcelas que están dentro. Para listar los límites administrativos de nivel 9 (distrito) o 10 (barrio) definidos en OSM dentro de un municipio utiliza la opción -l. catatom2osm -l 18900