LM Studio : un logiciel pour découvrir, télécharger et lancer des LLMs en local

LM Studio est un logiciel qui permet de découvrir, de télécharger et de lancer des LLMs (Large Language Models) en local sur son ordinateur. L’outil a été lancé en 2023.

Même s’ils sont de loin les plus médiatisés, GPT 3.5 et GPT 4, les deux modèles de langage utilisés dans ChatGPT, ne sont pas les seuls sur le marché. Il en existe pléthore : LLaMA, développé par Meta, Stable LM, développé par Stable AI (les mêmes qui sont à l’initiative du modèle de génération d’image Stable Diffusion) ou encore Falcon, de l’Institut d’Innovation et de Technologie (IIT) d’Abu Dhabi.

Certains de ces modèles étant open source, on retrouve même des versions fine-tunées pour les rendre plus légers ou plus performants. Vigogne par exemple, a été “fine-tuné” / affiné sur du texte en Français.
Bref, ce n’est pas le choix qui manque. “Mais comment tester ces différents modèles pour savoir lequel correspond le mieux à mes besoins ?” me demanderez-vous ? Et bien jusqu’à présent, il fallait soit être assez bon en technique, soit passer par HuggingFace, soit utiliser LlaMA.cpp.

Enfin ça, c’était avant. Car il existe désormais une méthode beaucoup plus simple et rapide : installer LM Studio.

Historique de LM Studio

LM Studio a été développé par une équipe de chercheurs et d’ingénieurs passionnés par les LLMs. Ils voulaient créer un logiciel qui permette aux utilisateurs de découvrir et de tester facilement les différents LLMs disponibles.

Le logiciel a été lancé en 2023 et a rapidement gagné en popularité. Il est aujourd’hui utilisé par des chercheurs, des étudiants et des professionnels du monde entier.

Fonctionnalités

LM Studio offre de nombreuses fonctionnalités pour découvrir et lancer des LLMs en local.

Parmi les principales capacités de l’outil, on peut citer :

Une liste de LLMs disponibles, classés par taille, langage et domaine d’application.
Une fonction de recherche pour trouver des LLMs spécifiques.
Une fonction de téléchargement pour télécharger des LLMs sur son ordinateur
Une interface graphique pour lancer des LLMs et interagir avec eux.
Des possibilités de réglage pour choisir, par exemple, de faire tourner le modèle du CPU ou GPU

Forces de l'outil LM Studio

LM Studio présente de nombreux avantages, notamment :

Facilité d’utilisation : LM Studio est un logiciel très intuitif et facile à utiliser, même pour les débutants.
Compatibilité : LM Studio est compatible avec les principaux systèmes d’exploitation (Windows, macOS, Linux).
Flexibilité : LM Studio permet de lancer des LLMs de toutes tailles et de tous domaines d’application.
Actualisation : LM Studio est mis à jour régulièrement avec de nouveaux LLMs et fonctionnalités.

Attention, quand je dis que l’outil permet de lancer des LLM de toutes tailles, cela dépendra bien évidemment de la machine sur laquelle vous comptez le faire. Si le lancement de la version 7B fine-tunée avec une quantification sur 4 bits de LLaMA 2 n’a pas posé de soucis particuliers à mon PC de bureau, équipé d’un Ryzen 5600, d’une Geforce 2060 Super (8Go de VRam) et de 16Go de Ram, la version 70B, elle, a mis ma configuration à genou.

Comment installer er faire fonctionner LM Studio

Pour installer LM Studio, il suffit de télécharger le logiciel à partir du site web. Une fois le logiciel téléchargé, il suffit de l’installer en suivant les instructions à l’écran.

Une fois l’outil installé, il suffit de le lancer. Vous pourrez accéder alors à la liste des LLMs disponibles.

Pour télécharger un LLM, il suffit de le rechercher dans l’onglet dédié, puis de cliquer sur le bouton “Télécharger”. Le LLM sera téléchargé sur votre ordinateur.

Pour lancer un LLM, il suffit d’aller sur l’onglet de chat à l’aide de l’icône dédiée. Il faudra ensuite lancer le LLM en le sélectionnant dans la liste en haut de la fenêtre de l’application.

Pour interagir avec un LLM, il suffit de saisir une requête dans la zone de texte située en bas de la fenêtre. Le LLM générera une réponse qui sera affichée dans la zone de texte située au-dessus de la zone de requête.

Conclusion

LM Studio est un logiciel puissant et polyvalent qui permet de découvrir, de télécharger et de lancer des LLMs en local. Il est idéal pour les chercheurs, les étudiants et les professionnels qui souhaitent travailler avec des LLMs sans avoir à utiliser un cloud computing.

Bonus : quelques fonctionnalités avancées

LM Studio offre également quelques fonctionnalités avancées qui peuvent être utiles pour les utilisateurs expérimentés.

Une fonction de configuration pour personnaliser les paramètres des LLMs.
Une fonction de débogage pour identifier et corriger les erreurs.
Une fonction d’exportation pour exporter les résultats de l’exécution des LLMs.

Ces fonctionnalités avancées permettent aux utilisateurs de tirer le meilleur parti des LLMs et de les utiliser pour des applications spécifiques.