Inférence
Moment où un modèle d'IA déjà entraîné produit une réponse à partir d'une demande. Chaque question posée à un assistant déclenche une inférence.
En clair
La vie d'un modèle a deux temps : l'entraînement, long et coûteux, fait une fois par l'éditeur ; puis l'inférence, répétée à chaque utilisation. C'est l'inférence que vous payez quand vous utilisez une API, et c'est elle qui consomme de l'énergie à chaque requête.
Sa rapidité et son coût dépendent de la taille du modèle et de la longueur des textes. D'où l'intérêt de choisir un modèle proportionné à la tâche : un petit modèle suffit souvent pour classer des e-mails.
Un exemple dans une petite entreprise
Une entreprise de location de matériel compare deux modèles pour trier ses demandes de devis : le plus grand ne fait pas mieux sur cette tâche simple, mais il est plus lent et plus cher à chaque inférence. Elle garde le petit.