Python Unicode

Un article de Haypo.

Version du 19 décembre 2007 à 13:25 (modifier) Haypo (Discuter | Contributions) (→Python et Unicode) ← Différence précédente		Version du 19 décembre 2007 à 13:26 (modifier) (défaire) Haypo (Discuter | Contributions) (→Python et Unicode) Différence suivante →
Ligne 6 :		Ligne 6 :
	Depuis sa version 2.0, publié en octobre 2000, Python possède le type « unicode » qui permet de stocker du texte dans le charset Unicode. En interne, c'est un type de 16 bits (UCS-2) ou 32 bits (UCS-4) qui est utilisé. On est donc limité aux codes 0 à 65.535 / 0 à 4.294.967.295. Testez avec :		Depuis sa version 2.0, publié en octobre 2000, Python possède le type « unicode » qui permet de stocker du texte dans le charset Unicode. En interne, c'est un type de 16 bits (UCS-2) ou 32 bits (UCS-4) qui est utilisé. On est donc limité aux codes 0 à 65.535 / 0 à 4.294.967.295. Testez avec :
	>>> import sys; print sys.maxunicode		>>> import sys; print sys.maxunicode
		+	1114111
		+	(résultat sur Ubuntu Feisty, Python 2.5.1)
	== Type str ==		== Type str ==

---

Version du 19 décembre 2007 à 13:26

Retour à Python

Sommaire 1 Python et Unicode 2 Type str 2.1 isASCII() 2.2 isUTF8() 2.3 guessBytesCharset() 3 Encodage 3.1 Encodage "=E9" (MIME) 3.2 Encodage "%E9" (HTML) 3.3 Base64 3.4 Autres encodages 4 Conversion en ASCII (supprimer les accents) 5 Article connexions

Python et Unicode

Depuis sa version 2.0, publié en octobre 2000, Python possède le type « unicode » qui permet de stocker du texte dans le charset Unicode. En interne, c'est un type de 16 bits (UCS-2) ou 32 bits (UCS-4) qui est utilisé. On est donc limité aux codes 0 à 65.535 / 0 à 4.294.967.295. Testez avec :

>>> import sys; print sys.maxunicode
1114111

(résultat sur Ubuntu Feisty, Python 2.5.1)

Type str

Le type « str » ne devrait pas servir à contenir du texte. C'est un tableau d'octet et sûrement pas un tableau de caractères (contrairement au type « unicode »).

Deviner le charset utilisé par un type str n'est pas une mince affaire. Voici néanmoins quelques cas particulier.

isASCII()

def isASCII(text):
    try:
        text = unicode(text, 'ASCII', 'strict')
        return True
    except UnicodeDecodeError:
        return False

Comprendre le résultat :

• False indique que text contient des valeurs supérieures ou égales à 128
• True indique que text utilise (semble utiliser ?) le charset ASCII

isUTF8()

def isUTF8(text):
    try:
        text = unicode(text, 'UTF-8', 'strict')
        return True
    except UnicodeDecodeError:
        return False

Comprendre le résultat :

• False indique que la conversion a échoué, une séquence d'octets invalide a été trouvée (chaîne tronquée ? autre charset utilisé ?)
• True indique que la conversion s'est bien déroulée, il y a de très fortes chances que la chaîne soit formatée en UTF-8

guessBytesCharset()

J'ai écrit une fonction appelée guessBytesCharset() qui tente au mieux de détecter le charset d'une chaîne binaire. On peut la trouver dans le code d'Hachoir : module hachoir_core.i18n.

Encodage

Encodage "=E9" (MIME)

Pour décoder la chaîne "S=C3=A9bastien", on peut utiliser la regex du pauvre :

>>> import re; re.sub("=([A-F0-9]{2})", lambda regs: chr(int(regs.group(1), 16)), "S=C3=A9bastien")
'S\xc3\xa9bastien'

Mais le module mimify sert exactement à ça :-)

Encodage "%E9" (HTML)

Pour décoder la chaîne "S%E9bastien", on peut utiliser :

>>> import urllib; unicode(urllib.unquote("S%E9bastien"), "ISO-8859-1")
u'S\xe9bastien'

Base64

Pour décoder des données encodée en base64 (ex: 'VG90bw=='), le module base64 dispose des fonctions b64encode() et b64decode().

Voir aussi la RFC 3548, The Base16, Base32, and Base64 Data Encodings.

Autres encodages

Voir aussi les modules binascii, quopri (quoted printable), uu, etc.

Conversion en ASCII (supprimer les accents)

Voir mon script unicode2ascii.py.

Voir également le billet de Peter Bengtsson : Unicode strings to ASCII... nicely.

Article connexions

• Python
• Démystifier Unicode