Formats d'image et chaîne de traitement

Landry Breuil <breuil@craig.fr>

Formats d'image

Chaîne de traitement

Compressions

Traitements à la volée

Une image, c'est quoi ?

• Une matrice
• Une ou plusieurs bandes de valeur (précision? couleur?)
• Une compression
• Des métadonnées

Espace colorimétrique

• RVB vs Y'CbCr (mais aussi TSL, CMJN)
• Chrominance et Luminance
• Dépend de l'usage (ie vision ou traitement ?)

jpeg

• Norme ISO de 1992 (travaux préliminaires dans les années 80)
• Compression avec perte, paramétrable
• Effet de flou
• Quantification par blocs puis compression
• Pas de transparence! (enfin, des bricolages web)

format	tif	jpeg 100%	jpeg 90%	jpeg 75%
zoom 3x
taille	11.5M	2.7M	960K	560K

jp2

• Norme ISO de 2000
• Version améliorée de jpeg
• Streaming via JPIP, métadonnées GML JP2
• Format de diffusion par défaut IGN
• *Mais* foule de librairies pour le lire/écrire
• ERDAS ECW, OpenJPEG (BSD), JasPer (ref, MIT), Kakadu, MrSid...
• Avec des performances en lecture/écriture variables.. et un coût

ecw

• Format propriétaire (ER Mapper, ERDAS, Intergraph..)
• SDK binaire disponible en démo, ancienne version 3.3 pseudo-libre
• Compression par ondelettes
• Ancien format proposé par l'IGN
• Compression équivalente a JP2? ~10% de moins ?

png

• Specifié en 1996, norme ISO en 2004
• 24 bits ou palette
• Palette -> estompe les couleurs...
• De 1 à 4 canaux, transparence
• Compression sans perte
• Parfait pour les données 'scans' (?) ou vectorielles

format	PNG 24bits	PNG palette	JPEG
ortho, zoom 7x
bd forêt, zoom 4x

tiff

• Domaine public depuis 1992, norme ISO en 1998
• Pas qu'un format, un conteneur (JPEG-in-TIFF?)
• Compression avec ou sans perte
• Espaces colorimétriques
• Métadonnées GeoTIFF
• Encodage par tuiles ou bandes
• Extrémement souple - dénominateur commun ?
• Parfait pour les données photo ?

Aperçus/pyramides

• Les SIG permettent de créer des 'aperçus' à différentes sous-échelles
• Ils seront automatiquement utilisés en fonction de l'échelle de rendu
• Peuvent aussi être compressés (pas *toujours* une bonne idée)
• En fonction des formats, embarqués ou externes (.ovr)
• gdaladdo, QGIS Raster->Divers->Construire des apercus

		95M SCEXP50_STD_0690_6550_L93_E100.jp2 (6 nvx)
		32M SCEXP50_STD_0690_6550_L93_E100.tif
		11M SCEXP50_STD_0690_6550_L93_E100.tif.ovr (4 nvx)
		

Chaîne de traitement

GDAL/OGR

• Couteau suisse du SIG
• Découpage raster avec un masque (gdalwarp -cutline)
• Manipulation d'ensemble de rasters (gdaltindex, gdalbuildvrt)
• Calculatrice raster (gdal_calc.py)
• Connection directe aux BDD

ogrinfo --config PG_LIST_ALL_TABLES YES PG:"dbname=gisdata user=postgis host=db"

• Découpage spatial/attributaire de vecteurs

ogr2ogr -where "POPULATION > 10000"  -spat xmin ymin xmax ymax

• Opérations spatiales (calcul de géométries)

ogr2ogr -dialect SQLITE -sql 'SELECT GUnion(GEOMETRY) from dallage'

• Traitement de MNT (gdaldem)

Compression

• Pb des images brutes livrées en TIFF
• ~150To en 8 ans
• Puissance de calcul, IO, archivage
• 2014: Tests sur 10T ERDF, gain 20% avec DEFLATE en ~30j (usb)
• 2017: Tests sur ~25T 4 Agglos RTGE, gain 90% avec JPEG-in-TIFF+YCBCR 95%+TILED en ~10j
• Peut presque atteindre la même compression que l'ECW, sans pbm d'intérop

taille	variante (6 dalles RVB)
430M	TIFF original
354M	DEFLATE+TILED
102M	JP2OpenJPEG+YCBCR
212M	JPEG2000
49M	JPEG-in-TIFF+YCBCR 90%+TILED
35M	ECW original

Mapserver

• Prend en entrée tous les formats supportés par GDAL
• Par défaut en sortie, propose:
• png (24 bits)
• png8 (palette)
• jpeg (compression 75%)
• tif, gif, pdf, svg, kml, kmz
• Permet de configurer plus finement les formats de sortie, ie envoyer du png a la place du jpeg, forcer une palette 16 couleurs, du jpeg non compressé...
• Le format demandé par le client aura un impact direct sur la taille de l'image renvoyée, et son temps de calcul!

Stylage raster

Composition

Opération COMPOSITE: multiply, overlay, diff...

Courbes de niveau à partir de raster

DATA "/data/wxs/mnt/craig/vrt/all.vrt"
CONNECTIONTYPE CONTOUR
PROCESSING "CONTOUR_ITEM=elevation"
PROCESSING "CONTOUR_INTERVAL=0,5000:10"
PROCESSING "CONTOUR_INTERVAL=5000,10000:50"
GEOMTRANSFORM (smoothsia([shape], 10))
CLASS
	NAME "50m"
	MAXSCALEDENOM 10001
	TEXT (round([elevation],1))
	EXPRESSION (round([elevation],50) = [elevation]
		and round([elevation],100) != [elevation])
...

Clustering de points (adresse/hameaux)

LABELITEM "nom_ld"
PROCESSING "NATIVE_FILTER=nom_ld is not null"
PROCESSING "CLUSTER_KEEP_LOCATIONS=ON"
# clustering en groupant par nom de lieu-dit
CLUSTER
	MAXDISTANCE 1000
	REGION "ellipse"
	GROUP ('[nom_ld]')
END

Différence entre WMS et WMTS

• WMS
• renvoie une image unique
• superposition de X couches dans une requête
• format, échelle et projection choisi par l'utilisateur
• dans le cas d'un serveur tuilé, la réponse est assemblée à partir des tuiles du cache
• interrogeable
• WMTS
• renvoie X tuiles de 256 px de coté
• pour une seule couche
• format, échelle et projections fixes (le SIG zoome a l'affichage)
• le serveur renvoie directement ce qui est dans le cache, aucun calcul
• dans QGIS, juste une liste de couche/projections
• non interrogeable
• En fonction des cas, je choisis...
• WMTS si je veux un affichage ultra rapide, et que le format du cache est adéquat (fond ortho tuilé en jpeg, donnée vectorielle tuilée en png)
• WMS si je veux pouvoir interroger, ou plus de souplesse sur projection/format

Mapproxy

• Propose du WMS et du WMTS (TMS, WMS-C..)
• Prend en entrée tous les formats proposés par Mapserver (donc autant prendre la meilleure qualité possible)
• Peut proposer plusieurs formats paramétrables en sortie (png, jpeg..)
• Mais le plus important est le choix du format pour le stockage des tuiles!
• Le format utilisé pour les tuiles aura un impact direct sur la taille totale du cache..
• .. et sur la qualité de l'image renvoyée au client.. en fonction du format demandé!

Cas d'école: RTGE + PCRS vecteur

• Ortho tuilée en png24 (meilleur qualité possible)
• PCRS vecteur en png8 (donnée vecteur + transparence nécessaire)
• De l'importance de bien choisir son format de requête...

format	PNG	JPEG	JPEG + PNG
taille	722k	968k	965k
zoom 3x

Interrogation de raster

• Ce n'est pas parce qu'on a une image qu'on ne peut pas l'interroger
• Un service tuilé peut très bien passer la requête au service derrière lui
• http://tiles.craig.fr/pci/service?...QUERY_LAYERS=cadastre_2016..&SERVICE=WMS..&REQUEST=GetFeatureInfo..&INFO_FORMAT=text/plain...X=754&Y=313

FeatureType 'pci:geo_batiment_2016': geom = [GEOMETRY (Polygon) with 9 points], geo_dur = 01...
FeatureType 'pci:geo_parcelle_2016': geo_parcelle = 2016630013000AB0285, supf = 2511..
FeatureType 'pci:geo_section_2016': geo_section = 2016013000AB...
FeatureType 'pci:geo_commune_2016': tex2 = AUBIAT, commune = 2016630013

• http://tiles.craig.fr/mnt/service?...QUERY_LAYERS=relief..&SERVICE=WMS..&REQUEST=GetFeatureInfo..&INFO_FORMAT=application/vnd.ogc.gml..&X=641&Y=439

<msGMLOutput>
	<mnt_couleur_layer>
		....
		<value_0>349.39999</value_0>
		<class>300-400m</class>
	</mnt_couleur_layer>
	<mnt_pente_layer>
		....
		<value_0>19.935246</value_0>
	</mnt_pente_feature>
</msGMLOutput>

Des questions ?