Importação dos Dados do Censo 2022 - IBGE
A Comunidade OSM Brasil está trabalhando para a formatação e a organização dos dados do Censo 2022 IBGE, especificamente, os registros do Cadastro Nacional de Endereços para Fins Estatísticos (CNEFE 2022), de modo que a importação dos dados seja realizada da melhor maneira possível. Para tanto, foi criado um Grupo de Trabalho (GT) Importação, que tem como tarefas, a discussão da metodologia; a filtragem dos dados e, possivelmente, a disponibilização dos dados, já formatados, para realização de importações assistidas, em que o(a) mapeador(a) selecionará os dados a serem importados.
Informações abaixo sobre o projeto. ATENÇÃO: Página ainda em construção.
Fase 1 - Preparação dos arquivos
Atualização de dados em planilhas virtuais (on-line)
Atualização dos dados das planilhas de tipos de pontos de Interesse (POIs) e palavras para substituição. Para participar da atualização dos dados, é necessário pedir acesso na comunidade Brasileira do Openstreetmap (canal OSM Brasil no Telegram - aba importações): https://telegram.me/OSMBrasil_Comunidade
- Tipos de pontos de interesse top 10 Mil ocorrências mais frequentes no OSM:
https://1drv.ms/x/s!Aodg01Yyk1bKgmuANbPxsQGVunaP?e=GMDJMr
- Palavras_para_substituir
https://1drv.ms/x/s!Aodg01Yyk1bKgmyCjo21mZfbploa?e=voqwJ7
Obs: Mudança para OneDrive, por problemas técnicos do GoogleDrive (14-06-2024).
Participantes do GT Importação - Fase 1
| Nome dos Participantes
(ordem alfabética) |
Tarefa Trabalhada | Projeto |
|---|---|---|
| Anderson (@Santamariense) | Discussão da metodologia; Filtragem dos tipos de Pontos de Interesse;
Palavras para Substituir; Ajuste da planilha de Pontos de Interesse; |
em Andamento |
| Blademir de Lima (@BladeTC) | Discussão da metodologia; Ajuste da planilha de Pontos de Interesse; | Em Andamento |
| Everton Bortolini | Dicussão da metodologia; | Em Andamento |
| Fidelis Assis | Discussão da metodologia; Palavras para Substituir;
Ajuste da planilha de Pontos de Interesse; |
Em Andamento |
| Kauê Vestena | Dicussão da metodologia; | Em Andamento |
| Lucas Marques | Discussão da metodologia; Ajuste da planilha de Pontos de Interesse; | Em Andamento |
| Lucas Pereira | Discussão da metodologia; Ajuste da planilha de Pontos de Interesse; | Em Andamento |
| Matheus Gomes | Discussão da metodologia; Ajuste da planilha de Pontos de Interesse; | Em Andamento |
| Raphael de Assis | Discussão da metodologia; Ajuste da planilha de Pontos de Interesse; | Em Andamento |
| Victor Hugo Ventura Rodrigues | Discussão da metodologia; Ajuste da planilha de Pontos de Interesse; | Em Andamento |
Fase 2 - Projeto piloto de importação
Apresentação
Projeto piloto para definição de metodologia para importação dos registros publicados pelo Instituto Brasileiro de Geografia e Estatística (IBGE), referentes aos dados levantados no Censo Demográfico do Brasil 2022, armazenados no Cadastro Nacional de Endereços para Fins Estatísticos (CNEFE 2022) e disponíveis em << .... >>.
O projeto piloto definirá, minimamente, um fluxo de trabalho padronizado, para que as iniciativas posteriores de indivíduos e organizações filiadas ao OSM Brasil, para importação destes dados em suas respectivas localidades e para que os dados do Brasil sejam os mais corretos possíveis. A fase inicial de tratamento dos dados visa realizar correções de geolocalização, ortográticas e relativas à atribuição das etiquetas, seguindo o modelo de dados e as regras do OpenStreetMap.
Participantes
Inicialmente (em ordem alfabética)
| Anderson (@Santamariense)
Blademir de Lima (@BladeTC) Fidelis Assis Kauê Vestena Lucas Marques |
Lucas Pereira
Matheus Gomes Raphael de Assis Victor Hugo Ventura Rodrigues |
Novos integrantes (por ordem alfabética)
..............
Fluxo do projeto piloto
1. Tratamento inicial dos dados brutos
- Correções de geometria, geolocalização, duplicatas, ortografia e etiquetas, segundo normas do OpenStreetMap;
- Desenvolvimento de um ou mais algoritmos iniciais, para serem testados. Nota: o(s) algoritmo(s) deverá apresentar a indicação da autoria e a sua utilização pro terceiros deverá ser sempre indicada nos algoritmos derivados e nas páginas Web e outros tipos de documentos que os mencionem. O autor(a) deverá indicar também a licença. Isto tudo deve ser incluído no cabeçalho do arquivo (se único) ou com indicação explícita no repositório escolhido;
- Geração dos GeoJSONs para teste. Nota: Optou-se por este formato, por sua leitura pelo editor iD e outros aplicativos, o que facilitará a participação de mapeadores de todos os níveis nas etapas do processo de importação;
- Coleta das impressões iniciais (favor ver a seção "Discussão" abaixo).
2. Testes iniciais com os GeoJSONs
- Teste com os GeoJSONs iniciais, aplicadas as primeiras correções (favor ver a seção "Amostras" adiante);
- Os GeoJSONs estão sendo gerados por @fidelisassis;
- Ajuste do(s) algoritmo(s) de correção dos dados;
- Novo teste dos GeoJSONS (nos mesmos municípios escolhidos anteriormente, para ter padrão para comparação);
[...] Etapas se repetem até a aprovação do(s) algoritmo(s) pela comunidade.
3. Primeira importação - seleção de um município para teste da importação automática
- Escolha de uma cidade, onde, inicialmente, será realizada a tentativa de importação automática, com apoio de programação e/ou JOSM (plugins TODO, conflation...).
<< FALTA PROCESSO >>
Amostras
1. Amostras - Teste dos GeoJSONs
Ajustes iniciais do(s) algoritmo(s), para tratamento dos dados brutos (favor ver acima, em tratamento inicial dos dados brutos).
Municípios selecionados de acordo com a experiência dos(as)mapeadores(as) (favor ver Anexo 1 - Lista inicial de municípios para teste GeoJSONs).
2. Amostra para teste inicial de importação automática
<< Nome da cidade escolhida >>
Nota: Para evitar conflitos de interesse, é ideal que a cidade escolhida não tenha a ver com os áreas alvo de empresas e entidades sem fins lucrativos que já operam no Brasil, como OpenCage, Tom Tom, Address for All, Kaart e quaisquer outras. Também será importante ter total transparência no processo do seu início até o final, com registro dos participantes e o papel (atribuição) de cada um.
Resultados
Resultados dos testes com GeoJSONs
Indique problemas com geolocalização, sobreposição de pontos, duplicação de dados, truncagem, erros em etiquetas etc. Nota: Seja o mais específico possível, p.ex., ao escrever sobre um ponto, indique as coordenadas do mesmo, ofereça informações completas sobre erros, indicação de erros que se repetem no conjunto de dados etc.
| UF | Município | Mapeador(a) | Resultados iniciais |
|---|---|---|---|
Resultados do teste inicial de importação automática
(...............)
Discussão
Discussões ocorrerão durante todo o processo de desenvolvimento do projeto de importação dos registros do CNEFE 2022, para que se tenha o melhor resultado possível. As discussões estão sendo realizadas na Community OSM e no https://telegram.me/OSMBrasil_Comunidade.
Anexo 1 - Lista inicial de municípios para teste GeoJSONs
| UF | Município | Mapeador(a) responsável | Obs (indicação de links, p.ex.,
para comentários, use a seção "Resultados") |
|---|---|---|---|
| AC | |||
| AL | |||
| AM | |||
| AP | |||
| BA | |||
| CE | |||
| DF | |||
| ES | |||
| GO | |||
| MA | |||
| MG | |||
| MS | |||
| MT | |||
| PA | |||
| PB | |||
| PE | |||
| PI | |||
| PR | |||
| RJ | |||
| RN | |||
| RO | |||
| RR | |||
| RS | |||
| SC | |||
| SE | |||
| SP | |||
| TO |
Formação dos grupos para importação
- Após a fase 2 (piloto), configuração de grupos de mapeadores(as), para importação de dados, em municípios selecionados. É importante que as pessoas envolvidas desde o início do processo façam parte dos grupos, pois terão melhor entendimento sobre os dados, podendo coordenar ou ajudar o(a) coordenador(a) do projeto;
- Os grupos seguirão certas condições, acordadas inicialmente com a comunidade OSM Brasil, para que tenhamos um padrão para importação, que seja efetivamente utilizado, e para que o canal de diálogo siga sempre aberto;
- Os grupos terão autonomia para buscar patrocínio, sendo registrada a seguinte configuração na presente página da Wiki OSM, para total transparência e apoio mútuo entre os grupos e empresas (ou organizações sem fins lucrativos):
| UF | Município | Mapeador(a) responsável - nome completo e usuário OSM, (*) podendo ser mais de uma pessoa | Entidade apoiadora - empresa, governo ou entidade sem fim lucrativo (*) indicar tipo de apoio (operacional - financeiro - dados) | Data início - Data fim | página Wiki OSM da importação (*) e endereços para projetos relacionados nos Tasking Managers |
|---|---|---|---|---|---|