Entropie (information)

En théorie de l'information, l'entropie est une mesure de l'incertitude ou de l'imprévisibilité d'une information. Elle a été formalisée par Claude Shannon en 1948 dans son article fondateur « Une théorie mathématique de la communication ». Exprimée en bits, l'entropie indique le nombre moyen de bits nécessaires pour représenter une information de façon optimale, sans redondance. Par exemple, une pièce de monnaie équilibrée (pile ou face) a une entropie de 1 bit, car chaque résultat est aussi imprévisible l'un que l'autre. Une pièce truquée qui tombe toujours sur pile a une entropie nulle, car il n'y a aucune incertitude. Dans le domaine de la sécurité informatique, l'entropie sert à évaluer la force d'un mot de passe : un mot de passe court, composé uniquement de lettres minuscules, a une faible entropie, tandis qu'un mot de passe long mêlant majuscules, chiffres et symboles a une entropie élevée, donc bien plus difficile à deviner par force brute. L'entropie limite aussi la compression : on ne peut pas compresser un fichier en dessous de son entropie sans perdre de l'information.