SLM versus LLM

Contrairement aux LLM, les SLM (Specialized Language Models ou Small Language Models) sont généralement entraînés sur des ensembles de données plus restreints, adaptés à des domaines industriels spécifiques (c’est-à-dire des domaines d’expertise). Par exemple, un prestataire de soins de santé pourrait utiliser un chatbot alimenté par un SLM formé sur des ensembles de données médicales pour intégrer des connaissances spécifiques au domaine dans une requête non experte d’un utilisateur sur sa santé, enrichissant ainsi la qualité de la question et de la réponse. Dans ce cas, le chatbot alimenté par un SLM n’a pas besoin d’être formé sur l’ensemble des documents glanés sur le Web : chaque billet de blog, chaque roman de fiction ou poème jamais écrit car cela serait hors de propos pour une utilisation dans le domaine de la santé. (d'après https://www.redhat.com/en/topics/ai/llm-vs-slm).

Quelques plateformes et bibliothèques à regarder : Hugging Face, OpenAI (API ouverte pour personnalisation), Rasa, AllenNLP, T5 (Text-to-Text Transfer Transformer), SpaCy, Haystack, LangChain, FastAI, BigScience / BLOOM