Consignes

La partie 3 du TP (section 4) est à rendre pour le lundi 14 décembre à 8h00 (matin).

Pour ce TP comme pour les suivants, la pièce la plus importante sera un fichier tp2-nom-prenom.py contenant votre programme. Le seul fait que votre programme fonctionne ne suffit pas pour avoir une bonne note. Les points suivants seront pris en compte :

l'architecture de votre programme (code découpé en fonctions etc.),
la lisibilité de votre programme (choix pertinent pour les noms de variables etc.),
la présence de commentaires aux endroits appropriés,
la présence de documentation pour vos fonctions.

Certaines questions appellent à une réponse que vous pouvez mettre en commentaire dans votre fichier tp2-nom-prenom.py. Si vous le souhaitez vraiment, vous pouvez aussi m'envoyer un rapport de TP. Le format de ce rapport sera au choix, mais par ordre de préférence :

dans le corps de votre programme en commentaire
au format texte (mais avec un minimum de mise en page)
au format pdf
au format OpenOffice (.odt)
au format Word (beurk)

Attention : les points suivants ne rapportent rien, mais ne pas les respecter pourra retrancher jusqu'à 10 points sur la note finale :

chaque fichier devra comporter un commentaire au début avec vos nom, prénom, filière et numéro du TP.
une exécution du programme principal « à vide » ne devra pas provoquer d'erreur.

Liens utiles

Carte d'altitude du Grand Canyon

Carte d'altitude du Pic Emory (en niveau de gris)

1. Préliminaires : le format « USGS-DEM »

Le format de fichier « USGS-DEM » est un format pour les données altimétriques (DEM : « Digital Elevation Model ») utilisé par l'institut « US Geological Survey ». En gros, chaque fichier contient les données d'altitude pour un morceau de terrain.

Voici par exemple un tels fichier : DEM pour une partie du Grand Canyon. Comme vous pouvez le constater, ce fichier comporte une unique ligne. (Ceci vient du fait que ce format de fichier était surtout utilisé sur des bandes magnétiques, qu'on accédait donc au données de manière purement séquentielle. Découper le fichier en plusieurs lignes n'était pas forcement utile...)

1.1. L'entête « A » du fichier

Le tout début de la ligne contient des informations sur le lieu en question : c'est simplement du texte, et il se trouve entre le début de la ligne et la colonne 134. (Voir la page wikipedia pour un résumé.) Viennent ensuite quelques informations supplémentaires (voir les pages 28 et suivantes du document Standards for Digital Elevation Models pour les détails), puis les coordonnées x (« easting ») et y (« northing ») des coins du rectangle de terrain.

Les informations suivantes sont :

altitudes minimale et maximale du rectangle,
espacements horizontal et vertical (delta_x et delta_y),
l'unité (en mètres) des altitudes (delta_z),
nombre de points de mesures horizontales.

Toutes ces informations sont à des emplacements fixes. Par exemple, l'altitude minimal d'un morceau de terrain se trouve toujours entre les octets 738 et 761.

Cette entête se trouve obligatoirement sur un bloc de 1024 octets. (Ça veut dire par exemple que la fin des 1024 octets est remplie par des espaces...)

Les nombres entiers sont écrits avec la notation usuelle et les nombres flottants utilisent la notation FORTRAN. (Voir plus bas.)

1.2. « Blocs B » du fichier

L'entête « A » se termine à l'octet 915. Viennent ensuite tout un ensemble de « colonnes » de données. Chacune de ces colonnes s'appelle un « bloc B » et commence par quelques informations dont voici les plus importantes :

le numéro de ligne (octets 0 à 5) et de colonne (octets 6 à 11) du premier point. Le numéro de ligne prend (normalement) toujours la valeur 1 et peut donc être ignoré.
Le nombre de lignes (octets 12 à 17) et de colonnes (octets 18 à 23) de la colonne. Le nombre de colonnes dans une colonne est (normalement) toujours 1 et peut donc être ignoré.
Les coordonnées x (octets 24 à 47) et y (octets 48 à 71) du premier point de la colonne.
L'altitude locale de la colonne (octets 72 à 95).
L'altitude minimale (octets 96 à 119) et l'altitude maximale (octets 120 à 143) des points de la colonne.

La suite de chaque « bloc B » (à partir de l'octet 144) contient des entiers pour l'altitude relative à l'altitude du premier point des points de la colonne. Quand toutes les altitudes ont été données, un nouveau « champ B » commence. Ces altitudes sont données en unité delta_z dont la valeur est donnée dans l'entête A du fichier. L'altitude réelle d'un point est donc obtenu par altitude_premier_point + delta_z*alt.

Les détails sur ce « bloc B » sont disponibles aux pages 41 et 42 du document Standards for Digital Elevation Models.

La totalité d'un « bloc B » est stocké sur un nombre d'octets multiple de 1024. Il peut donc y avoir des espaces supplémentaires en fin de « bloc B » avant de passer au « bloc B » suivant (ou au « bloc C »).

1.3. « Bloc C » du fichier

Le fichier se termine éventuellement par un « champs C » que l'on peut ignorer. (Voir p 44 du document Standards for Digital Elevation Models.) Ce bloc est stocké sur 1024 octets.

2. Quelques compléments sur Python, les fichiers etc.

2.1. Fichiers compressés

Vous pouvez choisir les fichiers DEM qui vous intéressent à partir d'ici, ou bien utiliser directement un des fichiers pour le Grand-Canyon :

Pour gagner de la place, les fichiers sont uniquement téléchargeables au format compressé. Pour les utiliser, vous pouvez soit les décompresser à la main ($ gunzip ./grand_canyon-w.gz dans un terminal), ou bien laisser Python le faire pour vous. Cette seconde option est meilleure car si vous voulez traiter de nombreux fichiers, vous n'aurez pas besoin de tous les décompresser à la fois. (Par exemple, pour traiter toute la Californie, les fichiers décompressés utilisent 659Mo alors que les mêmes fichiers compressés n'utilisent que 97Mo.)

Pour utiliser les versions compressés des fichiers, il suffit de remplacer la fonction open() par la fonction gzip.open(). (Il faut donc avoir un import gzip au début de votre fichier.)

2.2. Lire un nombre d'octets donné dans un fichier

Si fd est un descripteur de fichier obtenu grâce à un open ou gzip.open, on peut lire un nombre donné d'octet dans une chaîne de caractères avec la fonction fd.read. Par exemple :

>>> fd = open("./donnees")
>>> huit_octets = fd.read(8)

Pour un fichier texte « normal » octet correspond exactement à un caractère. (Ce n'est plus vrai pour les fichiers avec accents au format UTF8.)

2.3. Le format FORTRAN pour les flottants

Python utilise la « notation scientifique » pour les flottants :

-42 pour ... -42,
3.1415 pour 3,14,
0.01e2 ou 0.01E2 pour 1,
...

Si une chaîne de caractère contient un tels nombre, on peut la convertir au format flottant de python avec la fonction float(). Par exemple :

>>> s = '314159265e-6'
>>> pi = float(s)
>>> print pi
3.14159265

Le format USGS-DEM utilise la notation FORTRAN, ou l'exposant n'est pas indiqué par la lettre e, mais par la lettre D. Pour convertir une telle chaîne s au format float, il faut donc commencer par remplacer dans s chaque D par un e. Vous pouvez par exemple utiliser la fonction s.replace().

Écrivez le corps de la fonction suivante :

def fortran_float(s):
    """Transforme la chaîne de caractère "s" représentant un flottant au
format FORTRAN en un flottant.
Cette fonction ignore les caractères blancs au début et à la fin de la
chaîne "s"."""
    ...
    ...

2.4. Les tableaux associatifs

En plus des tableaux « normaux », Python offre la possibilité d'avoir des « tableaux associatifs » (aussi appelés « tables de hachages », « tables de hash » ou « map »). Ce sont un peu comme des tableaux, mais où on peut indexer les cases par (presque) n'importe quoi.

On initialise un tableau associatif avec le tableau associatif vide : assoc = {}, et on ajoute / modifie des éléments avec assoc[index] = valeur. Pour obtenir la valeur associée à un index, on peut utiliser assoc[index], mais cela provoque une erreur s'il n'y a pas de valeur stockée à cet index. Le plus simple est d'utiliser assoc.get(index, valeur_par_defaut).

Par exemple :

>>> information = {}
>>> information["alt max"] = 4807
>>> print information
{ 'alt max': 4807 }
>>> h = information["alt max"]
>>> print h
4807
>>> b = information["alt min"]   # Erreur
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
KeyError: 'alt min'
>>> b = information.get("alt min",0)
>>> print b
0

2.5. Un fichier Python comme programme principal

2.5.1. Programme principal

Un fichier python peut être utilisé de deux façons : soit comme une bibliothèque (c'est ce qui se passe quand vous faites un import math), soit comme un programme principal (c'est ce qu'il se passe quand vous tapez F5 dans Idle).

Pour pouvoir utiliser un fichier comme bibliothèque, il faut éviter que lors de l'import, votre fichier fasse des choses comme utiliser des variables globales (c'est Mal) ou faire des entrées / sorties (print et consorts). C'est seulement lorsqu'on l'utilise comme programme que votre programme devra faire tout ça.

Une manière de procéder est d'organiser son programme de la manière suivante :

# les bibliothèques dont j'ai besoin
import ...
import ...

# mes fonctions intermédiaires
def rectangle(...):
    ...
    ...

def disque(...):
    ...
    ...

# la fonction principale
if __name__ == "__main__":
    ...
    ...
    ...

La ligne if __name__ == "__main__": permet de tester si le fichier est utilisé comme programme principal (main). Si on l'utilise comme une bibliothèque, alors ce qui se trouve après cette ligne ne sera pas exécuté.

Écrivez votre fichier (ou vos fichiers) de cette manière.

3. Visualisation d'un fichier DEM sous forme d'image

Le but des prochains TP sera de transformer un (ou plusieurs) fichiers au format USGS-DEM en un fichier image comme ceux qui se trouvent au début du sujet.