01 — Question de recherche
Un modèle multimodal peut-il reproduire une première impression UX ?
Le benchmark public rassemble des captures complètes de pages d’accueil et leurs évaluations humaines. Les dimensions portent sur l’esthétique, l’utilisabilité perçue, la confiance, la typicalité, la ressemblance avec la catégorie et la qualité comme exemple représentatif.
L’objectif consistait à tester une capacité mesurable : retrouver l’ordre relatif des jugements humains sur des sites jamais conçus pour cette expérimentation. Le protocole n’évalue pas l’usage réel après interaction et ne prétend donc pas remplacer une étude UX ou un test A/B.
02 — Pipeline expérimental
Les formulations, l’échelle et les captures sont alignées sur l’étude de référence.
Chaque capture est transmise au modèle avec les six formulations et leurs ancres originales. Le modèle retourne un score continu entre −3 et +3 ainsi qu’une justification qualitative structurée. Un cache incrémental évite de recalculer les résultats déjà produits.
L’expérience présentée couvre 100 sites de mode, soit 600 couples image-dimension. Les sorties sont sauvegardées en Parquet puis jointes aux scores humains à partir de l’identifiant de chaque capture. Cette correspondance permet d’étudier à la fois le classement relatif et l’écart absolu.
03 — Résultats
Le classement contient du signal ; la calibration reste insuffisante.
La corrélation de Pearson globale atteint 0,416. Elle varie de 0,343 pour l’esthétique à 0,535 pour la qualité comme exemple représentatif. Les résultats atteignent également 0,486 pour l’utilisabilité et 0,513 pour la ressemblance avec la catégorie.
Le modèle attribue cependant des scores très positifs : ses moyennes se situent approximativement entre +1,60 et +2,15 alors que les évaluations humaines standardisées sont centrées près de zéro. L’erreur absolue moyenne globale atteint 1,98 point sur l’échelle de six points. Le modèle ordonne donc mieux qu’il ne calibre.
04 — Décision
Utiliser le modèle comme instrument de comparaison demande des garde-fous explicites.
Le résultat soutient une exploration comme outil de présélection ou de recherche : comparer des variantes, repérer les désaccords et produire des hypothèses à vérifier avec des utilisateurs. Il ne justifie pas un verdict automatique sur la qualité d’un design.
La suite méthodologique comprend une calibration sur un échantillon séparé, une réplication sur l’ameublement, la banque et l’enseignement supérieur, des intervalles d’incertitude, ainsi qu’une comparaison avec les décisions et comportements observés dans de véritables expérimentations produit.