Schița de curs

Introducere

  • Ce sunt Large Language Models (LLMs)?
  • LLM vs. modelele NLP tradiționale
  • Prezentare generală a caracteristicilor și arhitecturii LLM-urilor
  • Provocări și limitări ale LLM-urilor

Înțelegerea LLM-urilor

  • Ciclul de viață al unui LLM
  • Cum funcționează LLM-urile
  • Principalele componente ale unui LLM: codificator, decodificator, atenție, embeddings etc.

Noțiuni introductive

  • Configurarea mediului de dezvoltare
  • Instalarea unui LLM ca instrument de dezvoltare, de exemplu Google Colab, Hugging Face

Lucrul cu LLM-uri

  • Explorarea opțiunilor LLM disponibile
  • Crearea și utilizarea unui LLM
  • Reglarea fină a unui LLM pe un set de date personalizat

Sumarizarea textului

  • Înțelegerea sarcinii de rezumare a textului și a aplicațiilor sale
  • Utilizarea unui LLM pentru rezumarea extractivă și abstractivă a textului
  • Evaluarea calității rezumatelor generate utilizând metrici precum ROUGE, BLEU etc.

Răspunsul la întrebări

  • Înțelegerea sarcinii de răspuns la întrebări și aplicațiile sale
  • Utilizarea unui LLM pentru răspunsul la întrebări în domenii deschise și închise
  • Evaluarea acurateței răspunsurilor generate utilizând metrici precum F1, EM etc.

Generarea textului

  • Înțelegerea sarcinii de generare a textului și a aplicațiilor sale
  • Utilizarea unui LLM pentru generarea de texte condiționate și necondiționate
  • Controlul stilului, tonului și conținutului textelor generate utilizând parametri precum temperatura, top-k, top-p etc.

Integrarea LLM-urilor cu alte cadre și platforme

  • Utilizarea LLM-urilor cu PyTorch sau TensorFlow
  • Utilizarea LLM-urilor cu Flask sau Streamlit
  • Utilizarea LLM-urilor cu Google Cloud sau AWS

Rezolvarea problemelor

  • Înțelegerea erorilor și a bug-urilor comune în LLM-uri
  • Utilizarea TensorBoard pentru a monitoriza și vizualiza procesul de formare
  • Utilizarea PyTorch Lightning pentru a simplifica codul de formare și a îmbunătăți performanța
  • Utilizarea seturilor de date Hugging Face pentru încărcarea și preprocesarea datelor

Rezumat și pași următori

Cerințe

  • O înțelegere a procesării limbajului natural și a învățării profunde
  • Experiență cu Python și PyTorch sau TensorFlow
  • Experiență de bază în programare

Audiență

  • Dezvoltatori
  • Pasionați de NLP
  • Oameni de știință în domeniul datelor
 14 ore

Numărul de participanți


Pret per participant

Upcoming Courses

Categorii înrudite