Schița de curs

Introducere în optimizarea modelelor mari

  • Prezentare generală a arhitecturilor modelelor mari
  • Provocări în reglarea fină a modelelor mari
  • Importanța optimizării eficiente din punct de vedere al costurilor

Tehnici de formare distribuită

  • Introducere în paralelismul datelor și al modelelor
  • Cadre pentru formarea distribuită: PyTorch și TensorFlow
  • Scalarea pe mai multe GPUs și noduri

Cuantizarea și restrângerea modelului

  • Înțelegerea tehnicilor de cuantizare
  • Aplicarea pruning-ului pentru a reduce dimensiunea modelului
  • Compromisuri între acuratețe și eficiență

Optimizarea hardware-ului

  • Alegerea hardware-ului potrivit pentru sarcinile de reglaj fin
  • Optimizarea utilizării GPU și TPU
  • Utilizarea acceleratoarelor specializate pentru modele mari

Eficiență Data Management

  • Strategii pentru gestionarea seturilor mari de date
  • Preprocesarea și gruparea pentru performanță
  • Tehnici de augmentare a datelor

Implementarea modelelor optimizate

  • Tehnici de implementare a modelelor bine reglate
  • Monitorizarea și menținerea performanței modelelor
  • Exemple din lumea reală de implementare a modelelor optimizate

Tehnici avansate de optimizare

  • Explorarea adaptării de rang scăzut (LoRA)
  • Utilizarea adaptoarelor pentru reglarea fină modulară
  • Tendințe viitoare în optimizarea modelelor

Rezumat și pași următori

Cerințe

  • Experiență cu cadre de învățare profundă precum PyTorch sau TensorFlow
  • Familiaritate cu modele lingvistice de mari dimensiuni și cu aplicațiile acestora
  • Înțelegerea conceptelor de calcul distribuit

Audiență

  • Ingineri de învățare automată
  • Specialiști în Cloud AI
 21 ore

Numărul de participanți


Pret per participant

Upcoming Courses

Categorii înrudite