User:FPH

Utilise les données OpenStreetMap. Mappe occasionnellement en Bretagne.

• carte d'avancement OpenStreetMap en Bretagne
• service WMS ouvert GeoBretagne

Benchmark osm2pgsql

WORK IN PROGRESS

Voir Osm2pgsql/benchmarks

Tests en charge pour comparer les stratégies de chargement, avec l'objectif de maintenir une base france à J+1 sans les aléas des diffs et sans coupure. Le gros du travail étant dans les styles WMS reposant sur les schémas osm2pgsql, on reste lié à ces schémas et au mode de chargement osm2pgsql.

Machine

• machine : 8 coeurs Xeon 3.4GHz 16Mo cache, plein de RAM mais système 32 bits, HD SAS en RAID5 matériel + LVM (~120Mo/s séquentiels, x5 sans RAID+LVM...), fs XFS. Machine d'exploitation donc charge parallèle possible.
• système : debian 2.6.18-6-xen-vserver-amd64 avec vserver debian lenny 32 bits dessus (pas d'overhead)
• postgresql-8.3/lenny uptodate 8.3.14-0lenny1
  • shared_buffers = 128MB
  • maintenance_work_mem = 4096MB
  • checkpoint_segments = 20
  • autovacuum = off
• postgresql-8.3-postgis/lenny uptodate 1.3.3-3
• bases postgis avec contrib hstore et intarray
• osm2pgsql changelog 2010-11-06 21:04 4-0 compilé avec support pbf

Jeux d'essai : exports venant de geofabrik le 17/05/2011

• bretagne.osm.pbf 128935701 octets
• bretagne.osm.bz2 197458979 octets
• france.osm.pbf 1527641196 octets

Performances actuelles

time osm2pgsql -s -C 3000 -G -x -c -d osm-pbf -E 900913 -u -S ../bin/default.style -U osm -H rbr-vgeobretagne02 -P 6432 france.osm.pbf 
real    294m41.018s
user    59m59.237s
sys     14m28.126s

Essai 1 format pbf, sans options

time osm2pgsql -c -d osm-pbf -S ../bin/default.style -U osm -H rbr-vgeobretagne02 -P 6432 bretagne.osm.pbf 
real    9m0.142s
user    5m16.572s
sys     0m11.749s

système : 1 seul CPU au travail

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                          
26426 osm       25   0 3771m 2.1g  65m R  100  3.3   7:03.46 osm2pgsql                                                                        
26430 postgres  15   0  166m 145m 134m R   18  0.2   0:27.99 postgres                                                                         
    1 root      15   0  6124  684  560 S    0  0.0   0:16.44 init                

avec slim mode

time osm2pgsql -c -s -C 4000 -d osm-pbf -S ../bin/default.style -U osm -H rbr-vgeobretagne02 -P 6432 bretagne.osm.pbf 
node cache: stored: 13471389(100.00%), storage efficiency: 17.32%, hit rate: 100.00%
real    24m18.602s
user    4m8.744s
sys     1m10.340s

2ème tour

real    23m46.455s
user    4m1.419s
sys     1m8.768s

avec options

time osm2pgsql -G -x -k -c -d osm-pbf -S ../bin/default.style -U osm -H rbr-vgeobretagne02 -P 6432 bretagne.osm.pbf 
real    49m21.004s
user    11m46.372s
sys     0m18.057s