La pseudo-science de la physiognomonie, qui consiste à associer des caractéristiques de la personnalité à des différences physiques et notamment à des parties du visage des personnes, fait référence à une méthode qui utilise les mathématiques. Ce mot vient des mots grecs anciens pour nature (physis) et juge (gnomon). Une forme courante de physiognomonie consiste à établir un lien entre l'intelligence, les hautes sphères et une affinité pour les arts. Parmi les autres vestiges de la physiognomonie, citons l'expression "coincé", qui provient de la théorie selon laquelle les personnes au nez retroussé ont une attitude méprisante ; le terme "tête épaisse" pour décrire la stupidité. Il n'existe aucune preuve valable pour ces associations ou pour toute autre allégation de physiognomonie. Les origines de la physionomie remontent à au moins 500 avant J.-C., lorsque Phythagore, philosophe et mathématicien grec, sélectionnait ses étudiants en fonction de leur physionomie, qui indiquait ou non qu'ils étaient intellectuellement doués. Aristote a écrit qu'un visage large indiquait la stupidité, tandis qu'un visage rond indiquait le courage. Au milieu du XIXe siècle, Casare Lombroso, un scientifique italien, a défendu l'idée que les criminels étaient des rejetons génétiques et qu'ils pouvaient être identifiés par un certain nombre de caractéristiques physiques, notamment des nez en forme de faucon, des lèvres charnues, des fronts bas et inclinés, des nez aplatis ou retroussés et des bras plus longs que la moyenne. La physionomie connaît actuellement une résurgence, du moins en partie grâce au développement de l'intelligence artificielle et des technologies d'analyse des données. Les technologies avancées capables de détecter de petites différences dans les données et de combiner de grands volumes de données pourraient permettre de tirer des conclusions plus précises, selon les partisans. Les détracteurs affirment toutefois que les préjugés des humains pourraient conduire à des résultats inexacts.
La phrénologie, une variante de la physiognomonie, est fondée sur l'association de caractéristiques personnelles à des mesures du crâne.
Xiaolin Wu de l'Université McMaster, et Xi Zhang de l'Université Jiao Tong de Shanghai, ont publié un article intitulé "Automated inference on criminality using face images" fin 2016. L'article suggérait que des algorithmes d'apprentissage automatique pouvaient déterminer quels individus dans une collection de photos numérisées étaient susceptibles d'être des criminels, uniquement sur la base de leurs caractéristiques physiques. Le résumé de l'article indiquait que les algorithmes d'apprentissage automatique dépendaient des perceptions des humains. Celles-ci sont connues pour être sujettes à des erreurs. Toutefois, l'article poursuit en affirmant que "nos preuves empiriques indiquent la possibilité d'entraîner des algorithmes d'apprentissage automatique, en utilisant des exemples d'images de visages, pour prédire les traits de personnalité et la propension au comportement." L'article a depuis été retiré d'ArXiv, le dépôt où il a été publié, et les auteurs ont publié une réponse aux critiques, reconnaissant, par exemple, la nécessité de "contrôler la recherche sur l'IA pour le bien de la société."