Schița de curs

Partea 1 - Concepte Deep Learning și DNN


Introducere IA, Machine Learning și Deep Learning

  • Istoria, conceptele de bază și aplicațiile uzuale ale inteligenței artificiale departe De fanteziile purtate de acest domeniu

  • Inteligența colectivă: agregarea cunoștințelor împărtășite de mai mulți agenți virtuali

  • Algoritmi genetici: pentru a face să evolueze o populație de agenți virtuali prin selecție

  • Mașini obișnuite de învățare: definiție.

  • Tipuri de acțiuni: învățare supravegheată, învățare nesupravegheată, învățare prin întărire

  • Tipuri de acțiuni: clasificare, regresie, grupare, estimare a densității, reducere a dimensionalității

  • Exemple de algoritmi Machine Learning: Regresie liniară, Naive Bayes, Arbore aleatoriu

  • Învățarea automată VS Deep Learning: probleme pentru care Machine Learning rămâne astăzi stadiul actual al tehnologiei (Random Forests & XGBoosts)

Concepte de bază ale unei rețele neuronale (aplicație: perceptron multistrat)

  • Rememorarea bazelor matematice.

  • Definiția unei rețele de neuroni: arhitectura clasică, activarea și

  • ponderarea activărilor anterioare, adâncimea unei rețele

  • Definirea învățării unei rețele de neuroni: funcții de cost, retropropagare, coborârea stochastică a gradientului, probabilitatea maximă.

  • Modelarea unei rețele neuronale: modelarea datelor de intrare și de ieșire în funcție de tipul de problemă (regresie, clasificare ...). Blestemul dimensionalității.

  • Distincția între date cu mai multe caracteristici și semnal. Alegerea unei funcții de cost în funcție de date.

  • Aproximarea unei funcții de către o rețea de neuroni: prezentare și exemple

  • Aproximarea unei distribuții de către o rețea de neuroni: prezentare și exemple

  • Augmentarea datelor: cum să echilibrați un set de date

  • Generalizarea rezultatelor unei rețele de neuroni.

  • Inițializarea și regularizarea unei rețele neuronale: Regularizarea L1 / L2, normalizarea loturilor

  • Algoritmi de optimizare și convergență

Instrumente ML / DL standard

Este prevăzută o prezentare simplă cu avantaje, dezavantaje, poziția în ecosistem și utilizare.

  • Instrumente de gestionare a datelor: Apache Spark, Instrumente Apache Hadoop

  • Machine Learning: Numpy, Scipy, Sci-kit

  • Cadre DL de nivel înalt: Py Torch, Keras, Lasagne

  • Cadre DL de nivel scăzut: Theano, Torch, Caffe, Tensorflow

Convoluționale Neural Networks (CNN).

  • Prezentarea CNN-urilor: principii fundamentale și aplicații

  • Funcționarea de bază a unui CNN: strat convoluțional, utilizarea unui kernel,

  • Padding & stride, generarea hărții de caracteristici, straturi de pooling. Extensii 1D, 2D și 3D.

  • Prezentarea diferitelor arhitecturi CNN care au adus stadiul actual al tehnologiei în clasificare

  • Imagini: LeNet, rețele VGG, rețea în rețea, Inception, Resnet. Prezentarea Inovațiilor aduse de fiecare arhitectură și aplicațiile lor mai globale (Convoluția 1x1 sau conexiunile reziduale)

  • Utilizarea unui model de atenție.

  • Aplicarea la un caz obișnuit de clasificare (text sau imagine)

  • CNN-uri pentru generare: super-rezoluție, segmentare pixel la pixel. Prezentarea

  • Principalele strategii de creștere a hărților de caracteristici pentru generarea de imagini.

Recurrente Neural Networks (RNN).

  • Prezentarea RNN-urilor: principii fundamentale și aplicații.

  • Funcționarea de bază a RNN: activarea ascunsă, propagarea înapoi în timp, versiunea Unfolded.

  • Evoluții către Unitățile Recurrente Gated (GRU) și LSTM (Long Short Term Memory).

  • Prezentarea diferitelor stări și a evoluțiilor aduse de aceste arhitecturi

  • Probleme de convergență și de gradient vanising

  • Arhitecturi clasice: Predicția unei serii temporale, clasificarea ...

  • Arhitectura de tip RNN Encoder Decoder. Utilizarea unui model de atenție.

  • Aplicații NLP: codificarea cuvintelor / caracterelor, traducere.

  • Aplicații video: predicția următoarei imagini generate a unei secvențe video.


Modele generaționale: Variational AutoEncoder (VAE) și Generative Adversarial Networks (GAN).

  • Prezentarea modelelor generaționale, legătura cu CNN-urile

  • Auto-encoder: reducerea dimensionalității și generarea limitată

  • Autoencoder variațional: model generațional și aproximare a distribuției unui dat. Definiția și utilizarea spațiului latent. Truc de reparametrizare. Aplicații și limite observate

  • Rețele generatoare adversariale: Fundamente.

  • Arhitectura rețelei duale (generator și discriminator) cu învățare alternativă, funcții de cost disponibile.

  • Convergența unei GAN și dificultățile întâmpinate.

  • Îmbunătățirea convergenței: GAN Wasserstein, început. Distanța de deplasare a pământului.

  • Aplicații pentru generarea de imagini sau fotografii, generarea de text, superrezoluție.

Deep Reinforcement Learning.

  • Prezentarea învățării prin întărire: controlul unui agent într-un mediu definit

  • Printr-o stare și acțiuni posibile

  • Utilizarea unei rețele neuronale pentru aproximarea funcției de stare

  • Deep Q Learning: reluarea experienței și aplicarea la controlul unui joc video.

  • Optimizarea politicii de învățare. Politică on-policy && politică off-policy. Arhitectura actorului critic. A3C.

  • Aplicații: controlul unui singur joc video sau al unui sistem digital.

Partea 2 - Theano pentru Deep Learning

Bazele Theano

  • Introducere

  • Instalare și configurare

FuncțiileTheano

  • intrări, ieșiri, actualizări, date

Formarea și optimizarea unei rețele neuronale utilizând Theano

  • Modelarea rețelei neuronale

  • Regresie logistică

  • Straturi ascunse

  • Formarea unei rețele

  • Calcul și clasificare

  • Optimizare

  • Pierderea logaritmică

Testarea modelului


Partea 3 - DNN utilizând Tensorflow

TensorFlow Noțiuni de bază

  • Crearea, inițializarea, salvarea și restaurarea TensorFlow variabilelor

  • Alimentarea, citirea și preîncărcarea datelor TensorFlow

  • Cum să utilizați infrastructura TensorFlow pentru a antrena modele la scară largă

  • Vizualizarea și evaluarea modelelor cu TensorBoard

Mecanica TensorFlow

  • Pregătirea datelor

  • Descărcare

  • Intrări și Placeholders

  • Construiți graficul

    • Inferență

    • Pierderi

    • Formare

  • Pregătirea modelului

    • Graficul

    • Sesiunea

    • Bucla de formare

  • Evaluarea modelului

    • Construirea graficului de evaluare

    • Rezultatul evaluării

Perceptronul

  • Funcțiile de activare

  • Algoritmul de învățare perceptron

  • Clasificarea binară cu perceptronul

  • Clasificarea documentelor cu ajutorul perceptronului

  • Limitări ale perceptronului

De la Perceptron la Support Vector Machines

  • Kernels și trucul kernel

  • Clasificarea cu marjă maximă și vectori suport

Artificiale Neural Networks

  • Limite de decizie neliniare

  • Rețele neuronale artificiale feedforward și feedback

  • Perceptroni multistrat

  • Minimizarea funcției de cost

  • Propagarea înainte

  • Propagarea înapoi

  • Îmbunătățirea modului în care rețelele neuronale învață

Convoluționale Neural Networks

  • Goals

  • Arhitectura modelului

  • Principii

  • Organizarea codului

  • Lansarea și instruirea modelului

  • Evaluarea unui model

Se vor face introduceri de bază la modulele de mai jos (se va face o scurtă introducere în funcție de timpul disponibil):

Tensorflow - Utilizare avansată

  • Threading și cozi

  • Distribuit TensorFlow

  • Scrierea Documentation și partajarea modelului dvs.

  • Personalizarea cititoarelor de date

  • Manipularea TensorFlow fișierelor modelului


TensorFlow Servirea

  • Introducere

  • Tutorial Basic Serving

  • Tutorial de deservire avansată

  • Tutorial privind modelul de început al servirii

Cerințe

Studii de fizică, matematică și programare. Implicare în activități de procesare a imaginilor.

Delegații ar trebui să aibă o înțelegere prealabilă a conceptelor de învățare automată și ar trebui să fi lucrat cu programarea și bibliotecile Python.

 35 ore

Numărul de participanți


Pret per participant

Mărturii (5)

Upcoming Courses

Categorii înrudite