Les Small Language Models

Les Small Language Models (SLMs), ou modèles de langage de petite taille, offrent une solution efficace pour l’intelligence artificielle (IA) embarquée sur des appareils comme les smartphones, tablettes et objets connectés. Contrairement aux Large Language Models (LLMs), qui nécessitent des ressources de calcul massives dans des centres de données, les SLMs se concentrent sur l’accessibilité et la légèreté, permettant à l’IA d’être utilisée directement sur les appareils mobiles.

Le problème : Les LLM trop cher ?

Utiliser des grands modèles d’IA via le cloud peut être onéreux. Prenons l’exemple du modèle GPT-4 d’OpenAI :

GPT-4 Turbo : $0,01 par 1K tokens* en entrée et $0,03 par 1K tokens en sortie.

Pour une application traitant 100 000 requêtes par jour, avec une moyenne de 500 tokens en entrée et 500 en sortie par requête, le coût quotidien serait de : (100 000 * 0,5 * $0,01) + (100 000 * 0,5 * $0,03) = $2 000

*Un token est une unité élémentaire de texte, comme un mot ou une partie de mot, que les modèles de langage utilisent pour analyser et générer du langage naturel.

De plus, chaque requête au cloud peut ajouter un délai. Même avec une bonne connexion, cela peut ajouter 0,5 à 1 seconde par requête, ce qui peut nuire à l’expérience utilisateur, particulièrement pour des applications comme les assistants vocaux où la réactivité est cruciale.

La solution : Utiliser des SLMs sur l’appareil

Les SLMs, plus petits (entre 100 millions et 5 milliards de paramètres), peuvent fonctionner directement sur les appareils mobiles. Par exemple, le modèle Gemini Nano de Google fonctionne sur les récents smartphones Android pour des tâches comme le résumé de textes ou la suggestion de réponses.

Comment mettre en place des SLMs en 3 étapes

1. Choisir le bon modèle : Sélectionnez un SLM adapté à vos besoins. Un modèle de 1 milliard de paramètres comme Phi-1.5 peut convenir pour de nombreuses tâches de traitement de texte.

2. Préparer votre appareil : Assurez-vous que votre application peut gérer le modèle. Un SLM typique peut nécessiter 1-2 Go de mémoire et un processeur récent.

3. Tester et améliorer : Commencez par un prototype et améliorez-le progressivement. Mettez à jour votre modèle régulièrement pour bénéficier des dernières avancées.

Les avantages d’utiliser des SLMs

Économies : Moins de frais d’hébergement. Dans notre exemple précédent, une entreprise pourrait économiser jusqu’à 2 000$ par jour en utilisant des SLMs locaux plutôt que des APIs cloud.

Rapidité : Les réponses sont générées plus rapidement sur des tâches simples

Confidentialité : Les données restent sur l’appareil de l’utilisateur.

Fonctionnement hors-ligne : L’IA continue de fonctionner même sans connexion internet.

Conseil pratique

Pour commencer, essayez LMStudio. C’est un outil convivial qui vous permet de tester facilement différents SLMs sur votre ordinateur ou smartphone pour évaluer leurs performances réelles.

À vous de jouer

Pensez-vous que les SLMs pourraient améliorer vos applications mobiles ? Faites un test avec un petit projet pour voir les résultats par vous-même.