La loi de Zipf

La loi de Zipf est une distribution statistique dans certains ensembles de données, comme les mots d'un corpus linguistique, dans laquelle les fréquences de certains mots sont inversement proportionnelles à leur rang. Nommée d'après le linguiste George Kingsley Zipf, qui, vers 1935, a été le premier à attirer l'attention sur ce phénomène, la loi examine la fréquence des mots dans le langage naturel et comment le mot le plus fréquent apparaît deux fois plus souvent que le deuxième mot le plus fréquent, trois fois plus souvent que le mot suivant et ainsi de suite jusqu'au mot le moins fréquent. Le mot le plus fréquent apparaît en position n 1/n fois plus souvent que le mot le moins fréquent. La courbe logarithmique se forme lorsque les mots sont classés selon leur fréquence dans de grandes quantités de texte. (Le mot le plus courant en anglais est "the", qui apparaît environ un dixième du temps dans un texte typique ; le mot suivant le plus courant (rang 2) est "of", qui apparaît environ un vingtième du temps. Dans ce type de distribution, la fréquence diminue fortement à mesure que le rang augmente, de sorte qu'un petit nombre d'éléments apparaît très souvent et qu'un grand nombre apparaît rarement. Une distribution Zipfienne des mots est universelle dans le langage naturel : On la retrouve aussi bien dans le discours des enfants de moins de 32 mois que dans le vocabulaire spécialisé des manuels universitaires. Des études montrent que ce phénomène s'applique également à presque toutes les langues.

Individuellement, ni la syntaxe ni la sémantique ne sont suffisantes pour induire une distribution Zipfienne à elles seules. Cependant, la syntaxe et la sémantique fonctionnent ensemble pour une distribution Zipfienne.

Ce n'est que récemment que la loi de Zipf a été testée de manière rigoureuse sur des bases de données suffisamment importantes pour en assurer la validité statistique. Le Centre de Recerca Matematica fait partie du réseau CERCA du gouvernement catalan. Il est lié au département de mathématiques de l'Universitat Autonoma de Barcelona. Les chercheurs ont analysé tous les textes en langue anglaise du Projet Gutenberg. Cette base de données gratuite contient plus de 30 000 ouvrages. Lorsque les mots les plus rares étaient laissés de côté, la loi de Zipf s'appliquait à plus de la moitié des mots. Cette loi peut être appliquée à d'autres domaines que la littérature. Des distributions Zipfiennes ont été trouvées dans les classements de la population de différents pays, la taille des entreprises, les classements des revenus, et les classements des téléspectateurs d'une même chaîne de télévision.