Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Schița de curs
Introducere în optimizarea modelelor mari
- Prezentare generală a arhitecturilor modelelor mari
- Provocări în reglarea fină a modelelor mari
- Importanța optimizării eficiente din punct de vedere al costurilor
Tehnici de formare distribuită
- Introducere în paralelismul datelor și al modelelor
- Cadre pentru formarea distribuită: PyTorch și TensorFlow
- Scalarea pe mai multe GPUs și noduri
Cuantizarea și restrângerea modelului
- Înțelegerea tehnicilor de cuantizare
- Aplicarea pruning-ului pentru a reduce dimensiunea modelului
- Compromisuri între acuratețe și eficiență
Optimizarea hardware-ului
- Alegerea hardware-ului potrivit pentru sarcinile de reglaj fin
- Optimizarea utilizării GPU și TPU
- Utilizarea acceleratoarelor specializate pentru modele mari
Eficiență Data Management
- Strategii pentru gestionarea seturilor mari de date
- Preprocesarea și gruparea pentru performanță
- Tehnici de augmentare a datelor
Implementarea modelelor optimizate
- Tehnici de implementare a modelelor bine reglate
- Monitorizarea și menținerea performanței modelelor
- Exemple din lumea reală de implementare a modelelor optimizate
Tehnici avansate de optimizare
- Explorarea adaptării de rang scăzut (LoRA)
- Utilizarea adaptoarelor pentru reglarea fină modulară
- Tendințe viitoare în optimizarea modelelor
Rezumat și pași următori
Cerințe
- Experiență cu cadre de învățare profundă precum PyTorch sau TensorFlow
- Familiaritate cu modele lingvistice de mari dimensiuni și cu aplicațiile acestora
- Înțelegerea conceptelor de calcul distribuit
Audiență
- Ingineri de învățare automată
- Specialiști în Cloud AI
21 ore