User:Arcanma/Sandbox2
Import edificato dell'Umbria (Bozza)
Si tratta di un'import di edifici estratti dal DataBase di Sintesi Nazionale (DBSN) dell'Istituto Geografico Militare (IGM) che contiene le informazioni più significative dell'intero territorio italiano. L'importazione riguarderà solo il territorio della regione Umbria ed è attualmente in fase di progettazione. (Go to english version)
Obiettivi
L'obiettivo dell'import è quello di importare gli edifici della regione Umbria, partendo dalle aree in cui è maggiore la carenza di mappatura da parte dei volontari e proseguendo verso i comuni in cui si darà un contributo concreto alla mappa.
Programma
L'importazione inizierà presumibilmente a (mese anno) e proseguirà fino al raggiungimento dell'obiettivo, previsto entro 6-8 mesi.
Importazione dei dati
Il database, in formato GeoDatabase, è suddiviso per amministrazioni provinciali, pertanto verranno scaricati solo i file zip relativi alle province umbre, Perugia e Terni.
Contesto
Sito di origine dei dati: https://www.igmi.org/it/dbsn-database-di-sintesi-nazionale
Licenza dei dati: Open Data Commons Open Database License (ODbL) ver. 1.0
Conformità ODbL verificata: la licenza ODbL è stata rimossa dalla lista delle licenze compatibili, pubblicata nella pagina Import/ODbL_Compatibility, per cui l'import non è stato avviato.
File di dati OSM
I file di dati preparati per l'importazione sono disponibili in: https://github.com/arcanma/Umbria_buildings_import/tree/main/Umbria_buildings
Tipo di importazione
Gli edifici oggetto di importazione saranno suddivisi in base ai limiti amministrativi comunali; ogni comune sarà importato singolarmente utilizzando JOSM.
Preparazione dei dati
Riduzione e semplificazione dei dati
I dati relativi all'edificato (layer “edifc”) verranno estratti dai file relativi alle province di Perugia e Terni utilizzando QGIS, verranno eliminate le geometrie che hanno OSM come fonte (attributo meta_ist=03), quindi verranno salvati in formato GeoPackage suddividendoli in base ai limiti amministrativi comunali (layer “comune”), ottenendo così 92 file.
Piani di etichettatura
La trasformazione è stata preparata in base alle specifiche del DB (https://www.igmi.org/dbsn_supporto/dbsn/dbsn_specs.pdf) e anche in base all'effettiva corrispondenza negli elementi oggetto dell'import; il DB è un collettore di dati forniti da diverse istituzioni e non tutte utilizzano gli attributi allo stesso modo.
ChangesetTags
I tag dei changeset saranno compilati con i seguenti valori:
| Key | Value |
|---|---|
| comment | Import Fabbricati Comune di <nome comune> |
| type | import |
| source | DataBase di Sintesi Nazionale-Istituto Geografico Militare |
| source:url | https://www.igmi.org/it/dbsn-database-di-sintesi-nazionale |
| source:date | age of dataset at time of import, if known. |
| import:page | link to this wiki page |
| source:license | Open Data Commons Open Database License v1.0 (https://spdx.org/licenses/ODbL-1.0.html) |
Trasformazione dei dati
Utilizzando lo strumento ogr2osm, ogni file sarà convertito in formato osm e allo stesso tempo le etichette di ogni oggetto saranno convertite secondo lo schema mostrato nella tabella seguente:
| Original Tag | Imported | Description | OSM Tag | Note |
|---|---|---|---|---|
| fid | No | Primary key | ||
| OBJECTID | No | Object ID | ||
| edifc_uso | Yes | Building use | building / amenity / man_made / tourism / etc. | 1 |
| edifc_ty | Yes | Building type | building | |
| edifc_sot | Yes | Underground building | location=underground + building:levels | 2 |
| classid | No | ClassId | ||
| edifc_nome | Yes | Building name | name | |
| edifc_stat | Yes | Building status | building + construction / ruins | 3 |
| edifc_at | No | Building height | ||
| scril | No | Scale Level | ||
| meta_ist | No | Data source | ||
| edifc_mon | no | Monumental building | ||
| shape_Leng | No | Perimeter | ||
| shape_Area | No | Area | ||
| check_geom | Yes | To be checked on regional border | building + fixme:geometry | |
| comune_ist | No | Municipality code | ||
| comune_nom | No | Municipality name |
Procedimento
I dati relativi all'edificato (layer "edifc") dei files relativi alle province di Perugia e Terni verranno estratti tramite QGIS, saranno eliminate le geometrie che hanno come source OSM (attributo meta_ist=03), quindi saranno salvati in formato GeoPackage suddividendoli secondo i limiti amministrativi comunali (layer "comune"), ottenendo così 92 files.
Tramite il tool ogr2osm ogni file verrà convertito in formato osm e contemporaneamente si provvederà alla conversione delle etichette di ciascun oggetto secondo lo schema riportato nella tabella seguente:
| Etichetta Origine | Importare | Descrizione | Etichette OSM | Note |
|---|---|---|---|---|
| fid | No | Chiave primaria | ||
| OBJECTID | No | Object ID | ||
| edifc_uso | Si | Uso edificio | building / amenity / man_made / tourism / ecc. | 1 |
| edifc_ty | Si | Tipologia edilizia | building | |
| edifc_sot | Si | Edificio sotterraneo | building:levels | 2 |
| classid | No | ClassId | ||
| edifc_nome | Si | Nome edificio | name | |
| edifc_stat | Si | Stato edificio | Building + construction / ruins | 3 |
| edifc_at | No | Altezza edificio | ||
| scril | No | Scale Level | ||
| meta_ist | No | Fonte del dato | ||
| edifc_mon | Si | Edificio monumentale | none (only 1 in Umbria, not set) | |
| shape_Leng | No | Perimetro | ||
| shape_Area | No | Area | ||
| check_geom | Si | Da controllare su confine regionale | fixme:geometry | |
| comune_ist | No | Codice comune | ||
| comune_nom | No | Nome comune |
- L'etichetta verrà assegnata in base al tipo di utilizzo rilevato, eventualmente anche combinando più etichette. Si veda il file di conversione per maggiori dettagli.
- Se l'edificio è classificato come sotterraneo, verrà impostato location=underground + building:levels=0; viene inoltre aggiunta l'etichetta fixme:building per indicare un controllo necessario.
- Se l'attributo edifc_stat ha valore 01 (In costruzione) le etichette saranno: building=construction + fixme:building=“resurvey construction type and status”, se è destinato a un uso specifico questo sarà assegnato all'etichetta construction. Se invece l'attributo edifc_stat ha valore 02 (Rudere) si aggiungeranno le etichette ruins=yes e fixme:building="resurvey status".
Risultati della trasformazione dei dati
Il file delle regole di trasformazione è disponibile qui: edificato.py, i file risultanti sono disponibili qui: Umbria_edifici.
Caricamento dei dati
Approccio di squadra
Al momento il processo di importazione sarà eseguito dall'utente Arcanma, utilizzando l'account arcanma-import. Eventuali altri utenti che collaboreranno all'import saranno comunque rilevabili dalla pagina di monitoraggio dei progressi dell'import.
Riferimenti
Durante l'import, gli edifici già presenti in OSM saranno presi in considerazione, in caso di corrispondenze sarà data priorità a ciò che è già presente. Durante la trasformazione, per gli edifici con attributi che possono aver generato tag non corrispondenti, sono stati aggiunti tag fixme per risolvere eventuali imprecisioni prima dell'importazione. L'area di destinazione dell'importazione sarà scaricata in JOSM per effettuare una validazione offline prima dell'importazione, per evitare interferenze tra gli oggetti importati e quelli già presenti in OSM.
Flusso di lavoro
Per ogni comune si procederà come segue, iniziando da quelli con meno di 100 edifici mappati su OSM ogni 1000 abitanti (rilevabili da Umbria/Statistica_Elementi), in modo da poter verificare abbastanza rapidamente i conflitti e dare un contributo consistente alla mappa.
- Aprire con JOSM il file ottenuto nel passo precedente, quindi scaricare gli edifici già inclusi in OSM per il comune corrispondente utilizzando le API di Overpass (integrate in JOSM), attraverso il plugin Conflation e [[JOSM Validator]] verificare quali oggetti sono già presenti, mantenendo quello già presente, in caso di evidente geometria errata o non correttamente allineata verrà effettuata solo la correzione della geometria, mantenendo le etichette.
- Per gli edifici non inclusi in OSM, si verificherà la presenza di tag fixme, fixme:classify, fixme:building o fixme:geometry; in tal caso, l'avviso sarà risolto mediante un confronto con le foto aeree e altre fonti di informazione, se necessario, quindi il relativo tag fixme sarà rimosso. Se non è possibile determinare con sufficiente certezza lo stato dell'edificio, il tag fixme viene lasciato, mentre se ci sono dubbi sulla sua esistenza esso non viene importato.
- Gli edifici rimanenti saranno quelli soggetti al processo di importazione, prima di procedere l'area sarà scaricata in JOSM per verificare con il Validator integrato eventuali conflitti con altri elementi già presenti in OSM e saranno risolti prima dell'importazione.
- Una volta preparati, i dati saranno caricati tenendo conto di un limite di 5000 edifici per changeset, quindi normalmente si tratterà di un changeset per comune, tranne che per i comuni più grandi dove ci potranno essere più changeset.
Tutti gli id dei changeset saranno registrati nella pagina appositamente predisposta, nel caso in cui si riscontrino anomalie durante l'importazione o in seguito è possibile effettuare un revert in base all'id del changeset, controllando gli edifici con versione >1 per escludere dal revert quelli che sono stati modificati successivamente.
Conflazione
Vedi punto 1 paragrafo precedente
Controllo qualità
Vedere i punti 2 e 3 del paragrafo precedente
Vedi anche
Il messaggio al forum della comunità è stato inviato il 2025-01-14 e può essere trovato qui.
[Category:Import]