Schița de curs

Introducere la Multimodal AI

  • Prezentare generală a IA multimodală și a aplicațiilor din lumea reală
  • Provocări în integrarea datelor text, imagine și audio
  • Stadiul actual al cercetărilor și progreselor

Prelucrarea datelor și ingineria caracteristicilor

  • Manipularea seturilor de date text, imagine și audio
  • Tehnici de preprocesare pentru învățarea multimodală
  • Strategii de extragere a caracteristicilor și de fuziune a datelor

Construirea de modele multimodale cu PyTorch și Hugging Face

  • Introducere în PyTorch pentru învățarea multimodală
  • Utilizarea transformatoarelor Hugging Face pentru sarcinile NLP și de vedere
  • Combinarea diferitelor modalități într-un model AI unificat

Implementarea fuziunii vorbirii, vederii și textului

  • Integrarea OpenAI Whisper pentru recunoașterea vorbirii
  • Aplicarea DeepSeek-Vision pentru procesarea imaginilor
  • Tehnici de fuziune pentru învățarea intermodală

Formarea și optimizarea Multimodal AI modelelor

  • Strategii de formare a modelelor pentru inteligența artificială multimodală
  • Tehnici de optimizare și reglarea hiperparametrilor
  • Abordarea prejudecăților și îmbunătățirea generalizării modelelor

Implementarea Multimodal AI în aplicații din lumea reală

  • Exportul modelelor pentru utilizare în producție
  • Implementarea modelelor AI pe platforme cloud
  • Monitorizarea performanței și întreținerea modelelor

Subiecte avansate și tendințe viitoare

  • Învățarea Zero-shot și few-shot în IA multimodală
  • Considerații etice și dezvoltarea responsabilă a IA
  • Tendințe emergente în cercetarea IA multimodală

Rezumat și pași următori

Cerințe

  • Înțelegere solidă a conceptelor de învățare automată și de învățare profundă
  • Experiență cu cadre AI precum PyTorch sau TensorFlow
  • Familiaritate cu prelucrarea datelor text, imagine și audio

Audiență

  • Dezvoltatori AI
  • ingineri în domeniul învățării automate
  • cercetători
 21 ore

Numărul de participanți


Pret per participant

Upcoming Courses

Categorii înrudite