LM Studio est un logiciel qui permet de découvrir, de télécharger et de lancer des LLMs (Large Language Models) en local sur son ordinateur. L’outil a été lancé en 2023.
Même s’ils sont de loin les plus médiatisés, GPT 3.5 et GPT 4, les deux modèles de langage utilisés dans ChatGPT, ne sont pas les seuls sur le marché. Il en existe pléthore : LLaMA, développé par Meta, Stable LM, développé par Stable AI (les mêmes qui sont à l’initiative du modèle de génération d’image Stable Diffusion) ou encore Falcon, de l’Institut d’Innovation et de Technologie (IIT) d’Abu Dhabi.
Certains de ces modèles étant open source, on retrouve même des versions fine-tunées pour les rendre plus légers ou plus performants. Vigogne par exemple, a été “fine-tuné” / affiné sur du texte en Français.
Bref, ce n’est pas le choix qui manque. “Mais comment tester ces différents modèles pour savoir lequel correspond le mieux à mes besoins ?” me demanderez-vous ? Et bien jusqu’à présent, il fallait soit être assez bon en technique, soit passer par HuggingFace, soit utiliser LlaMA.cpp.
Enfin ça, c’était avant. Car il existe désormais une méthode beaucoup plus simple et rapide : installer LM Studio.
LM Studio a été développé par une équipe de chercheurs et d’ingénieurs passionnés par les LLMs. Ils voulaient créer un logiciel qui permette aux utilisateurs de découvrir et de tester facilement les différents LLMs disponibles.
Le logiciel a été lancé en 2023 et a rapidement gagné en popularité. Il est aujourd’hui utilisé par des chercheurs, des étudiants et des professionnels du monde entier.
LM Studio offre de nombreuses fonctionnalités pour découvrir et lancer des LLMs en local.
Parmi les principales capacités de l’outil, on peut citer :
LM Studio présente de nombreux avantages, notamment :
Attention, quand je dis que l’outil permet de lancer des LLM de toutes tailles, cela dépendra bien évidemment de la machine sur laquelle vous comptez le faire. Si le lancement de la version 7B fine-tunée avec une quantification sur 4 bits de LLaMA 2 n’a pas posé de soucis particuliers à mon PC de bureau, équipé d’un Ryzen 5600, d’une Geforce 2060 Super (8Go de VRam) et de 16Go de Ram, la version 70B, elle, a mis ma configuration à genou.
Pour installer LM Studio, il suffit de télécharger le logiciel à partir du site web. Une fois le logiciel téléchargé, il suffit de l’installer en suivant les instructions à l’écran.
Une fois l’outil installé, il suffit de le lancer. Vous pourrez accéder alors à la liste des LLMs disponibles.
Pour télécharger un LLM, il suffit de le rechercher dans l’onglet dédié, puis de cliquer sur le bouton “Télécharger”. Le LLM sera téléchargé sur votre ordinateur.
Pour lancer un LLM, il suffit d’aller sur l’onglet de chat à l’aide de l’icône dédiée. Il faudra ensuite lancer le LLM en le sélectionnant dans la liste en haut de la fenêtre de l’application.
Pour interagir avec un LLM, il suffit de saisir une requête dans la zone de texte située en bas de la fenêtre. Le LLM générera une réponse qui sera affichée dans la zone de texte située au-dessus de la zone de requête.
LM Studio est un logiciel puissant et polyvalent qui permet de découvrir, de télécharger et de lancer des LLMs en local. Il est idéal pour les chercheurs, les étudiants et les professionnels qui souhaitent travailler avec des LLMs sans avoir à utiliser un cloud computing.
Bonus : quelques fonctionnalités avancées
LM Studio offre également quelques fonctionnalités avancées qui peuvent être utiles pour les utilisateurs expérimentés.
Ces fonctionnalités avancées permettent aux utilisateurs de tirer le meilleur parti des LLMs et de les utiliser pour des applications spécifiques.
© Association Intelligence Artificielle Réunion 2024