Formation - Infini Software

Détails :

Durée :

2 Jours

Prérequis :

Il est nécessaire de connaitre le langage Python et d'avoir quelques connaissances de bases en Deep Learning et NLP.

Public :

Chercheurs et ingénieurs en IA souhaitant optimiser et personnaliser des LLM.

Objectifs :

Le RAG (Retrieval Augmented Generation) combine la génération de texte par un modèle de langage avec la récupération d'informations externes pour enrichir et affiner les réponses fournies.

Le fine tuning, quant à lui, consiste à adapter un modèle pré-entraîné à des contextes spécifiques en affinant ses paramètres sur des données ciblées, améliorant ainsi sa performance pour des tâches précises.

Au terme de cette formation, vous saurez :

Savoir décrire le fonctionnement et les limites d'un LLM.

Comprendre les concepts clés du RAG.

Savoir appliquer des techniques de fine tuning sur un LLM.

Evaluer et optimiser les performances de votre modèle.

Savoir déployer votre modèle en production.

Demande de devis :

Devis :

Si vous souhaitez être contacté et obtenir plus d'informations sur cette formation veuillez remplir notre formulaire de mise en relation.

Cursus de formation :

Cursus :

Programme détaillé de la formation :

Introduction à l'utilisation de LLM

Rappels sur le Deep Learning
Rappels sur l'architecture Transformer
Forces et faiblesses d'un LLM
Les principaux LLM à notre disposition
Première utilisation de ces modèles
Que sont le RAG et le Fine Tuning ?

Le RAG (Retrieval Augmented Generation)

Les concepts clés du RAG
Indexation des données

La vectorisation des données (FAISS, ChromaDB, Weaviate)

Les modèles d'embedding (Mistral-Embed, OpenAI, SentenceTransformers)

Mécanisme de récupération des données

Recherche sémantique

Similarité cosinus, re-ranking

Génération augmentée

Fusion des données récupérées avec un LLM

Utilisation de LangChain pour orchestrer le pipeline

Cas d'usage et enjeux stratégiques

Réaliser un Fine Tuning

Fine Tuning Complet VS Fine Tuning léger (LoRA, QLoRA...)
Préparation des données

Nettoyage et structuration des données

Formats de fichiers utilisables (JSONL, HF datasets...)

Stratégies d'annotation et de génération des prompts

Augmentation des données
Mise en oeuvre du Fine Tuning

Les API utilisable

Gestion des ressources GPU

Évaluation et métriques de performance
Distillation de modèles

Optimisation et déploiement

Quantization et compression d'un modèle
Déploiement d'un modèle fine tuned

Le logiciel Gradio

Le déploiement en API via FastAPI

Les logiciels Jan.ai et Ollama

Fine Tuning VS RAG

Comparaison entre les deux techniques
Combiner les approches pour améliorer les performances

Cursus « Deep Learning & IA » : RAG et Fine Tuning d'un LLM

Détails :

Demande de devis :

Cursus de formation :

Programme détaillé de la formation :

Cursus « Deep Learning & IA » :
RAG et Fine Tuning d'un LLM