Schița de curs
Partea 1 - Concepte Deep Learning și DNN
Introducere IA, Machine Learning și Deep Learning
-
Istoria, conceptele de bază și aplicațiile uzuale ale inteligenței artificiale departe De fanteziile purtate de acest domeniu
-
Inteligența colectivă: agregarea cunoștințelor împărtășite de mai mulți agenți virtuali
-
Algoritmi genetici: pentru a face să evolueze o populație de agenți virtuali prin selecție
-
Mașini obișnuite de învățare: definiție.
-
Tipuri de acțiuni: învățare supravegheată, învățare nesupravegheată, învățare prin întărire
-
Tipuri de acțiuni: clasificare, regresie, grupare, estimare a densității, reducere a dimensionalității
-
Exemple de algoritmi Machine Learning: Regresie liniară, Naive Bayes, Arbore aleatoriu
-
Învățarea automată VS Deep Learning: probleme pentru care Machine Learning rămâne astăzi stadiul actual al tehnologiei (Random Forests & XGBoosts)
Concepte de bază ale unei rețele neuronale (aplicație: perceptron multistrat)
-
Rememorarea bazelor matematice.
-
Definiția unei rețele de neuroni: arhitectura clasică, activarea și
-
ponderarea activărilor anterioare, adâncimea unei rețele
-
Definirea învățării unei rețele de neuroni: funcții de cost, retropropagare, coborârea stochastică a gradientului, probabilitatea maximă.
-
Modelarea unei rețele neuronale: modelarea datelor de intrare și de ieșire în funcție de tipul de problemă (regresie, clasificare ...). Blestemul dimensionalității.
-
Distincția între date cu mai multe caracteristici și semnal. Alegerea unei funcții de cost în funcție de date.
-
Aproximarea unei funcții de către o rețea de neuroni: prezentare și exemple
-
Aproximarea unei distribuții de către o rețea de neuroni: prezentare și exemple
-
Augmentarea datelor: cum să echilibrați un set de date
-
Generalizarea rezultatelor unei rețele de neuroni.
-
Inițializarea și regularizarea unei rețele neuronale: Regularizarea L1 / L2, normalizarea loturilor
-
Algoritmi de optimizare și convergență
Instrumente ML / DL standard
Este prevăzută o prezentare simplă cu avantaje, dezavantaje, poziția în ecosistem și utilizare.
-
Instrumente de gestionare a datelor: Apache Spark, Instrumente Apache Hadoop
-
Machine Learning: Numpy, Scipy, Sci-kit
-
Cadre DL de nivel înalt: Py Torch, Keras, Lasagne
-
Cadre DL de nivel scăzut: Theano, Torch, Caffe, Tensorflow
Convoluționale Neural Networks (CNN).
-
Prezentarea CNN-urilor: principii fundamentale și aplicații
-
Funcționarea de bază a unui CNN: strat convoluțional, utilizarea unui kernel,
-
Padding & stride, generarea hărții de caracteristici, straturi de pooling. Extensii 1D, 2D și 3D.
-
Prezentarea diferitelor arhitecturi CNN care au adus stadiul actual al tehnologiei în clasificare
-
Imagini: LeNet, rețele VGG, rețea în rețea, Inception, Resnet. Prezentarea Inovațiilor aduse de fiecare arhitectură și aplicațiile lor mai globale (Convoluția 1x1 sau conexiunile reziduale)
-
Utilizarea unui model de atenție.
-
Aplicarea la un caz obișnuit de clasificare (text sau imagine)
-
CNN-uri pentru generare: super-rezoluție, segmentare pixel la pixel. Prezentarea
-
Principalele strategii de creștere a hărților de caracteristici pentru generarea de imagini.
Recurrente Neural Networks (RNN).
-
Prezentarea RNN-urilor: principii fundamentale și aplicații.
-
Funcționarea de bază a RNN: activarea ascunsă, propagarea înapoi în timp, versiunea Unfolded.
-
Evoluții către Unitățile Recurrente Gated (GRU) și LSTM (Long Short Term Memory).
-
Prezentarea diferitelor stări și a evoluțiilor aduse de aceste arhitecturi
-
Probleme de convergență și de gradient vanising
-
Arhitecturi clasice: Predicția unei serii temporale, clasificarea ...
-
Arhitectura de tip RNN Encoder Decoder. Utilizarea unui model de atenție.
-
Aplicații NLP: codificarea cuvintelor / caracterelor, traducere.
-
Aplicații video: predicția următoarei imagini generate a unei secvențe video.
Modele generaționale: Variational AutoEncoder (VAE) și Generative Adversarial Networks (GAN).
-
Prezentarea modelelor generaționale, legătura cu CNN-urile
-
Auto-encoder: reducerea dimensionalității și generarea limitată
-
Autoencoder variațional: model generațional și aproximare a distribuției unui dat. Definiția și utilizarea spațiului latent. Truc de reparametrizare. Aplicații și limite observate
-
Rețele generatoare adversariale: Fundamente.
-
Arhitectura rețelei duale (generator și discriminator) cu învățare alternativă, funcții de cost disponibile.
-
Convergența unei GAN și dificultățile întâmpinate.
-
Îmbunătățirea convergenței: GAN Wasserstein, început. Distanța de deplasare a pământului.
-
Aplicații pentru generarea de imagini sau fotografii, generarea de text, superrezoluție.
Deep Reinforcement Learning.
-
Prezentarea învățării prin întărire: controlul unui agent într-un mediu definit
-
Printr-o stare și acțiuni posibile
-
Utilizarea unei rețele neuronale pentru aproximarea funcției de stare
-
Deep Q Learning: reluarea experienței și aplicarea la controlul unui joc video.
-
Optimizarea politicii de învățare. Politică on-policy && politică off-policy. Arhitectura actorului critic. A3C.
-
Aplicații: controlul unui singur joc video sau al unui sistem digital.
Partea 2 - Theano pentru Deep Learning
Bazele Theano
-
Introducere
-
Instalare și configurare
FuncțiileTheano
-
intrări, ieșiri, actualizări, date
Formarea și optimizarea unei rețele neuronale utilizând Theano
-
Modelarea rețelei neuronale
-
Regresie logistică
-
Straturi ascunse
-
Formarea unei rețele
-
Calcul și clasificare
-
Optimizare
-
Pierderea logaritmică
Testarea modelului
Partea 3 - DNN utilizând Tensorflow
TensorFlow Noțiuni de bază
-
Crearea, inițializarea, salvarea și restaurarea TensorFlow variabilelor
-
Alimentarea, citirea și preîncărcarea datelor TensorFlow
-
Cum să utilizați infrastructura TensorFlow pentru a antrena modele la scară largă
-
Vizualizarea și evaluarea modelelor cu TensorBoard
Mecanica TensorFlow
-
Pregătirea datelor
-
Descărcare
-
Intrări și Placeholders
-
Construiți graficul
-
Inferență
-
Pierderi
-
Formare
-
-
Pregătirea modelului
-
Graficul
-
Sesiunea
-
Bucla de formare
-
-
Evaluarea modelului
-
Construirea graficului de evaluare
-
Rezultatul evaluării
-
Perceptronul
-
Funcțiile de activare
-
Algoritmul de învățare perceptron
-
Clasificarea binară cu perceptronul
-
Clasificarea documentelor cu ajutorul perceptronului
-
Limitări ale perceptronului
De la Perceptron la Support Vector Machines
-
Kernels și trucul kernel
-
Clasificarea cu marjă maximă și vectori suport
Artificiale Neural Networks
-
Limite de decizie neliniare
-
Rețele neuronale artificiale feedforward și feedback
-
Perceptroni multistrat
-
Minimizarea funcției de cost
-
Propagarea înainte
-
Propagarea înapoi
-
Îmbunătățirea modului în care rețelele neuronale învață
Convoluționale Neural Networks
-
Goals
-
Arhitectura modelului
-
Principii
-
Organizarea codului
-
Lansarea și instruirea modelului
-
Evaluarea unui model
Se vor face introduceri de bază la modulele de mai jos (se va face o scurtă introducere în funcție de timpul disponibil):
Tensorflow - Utilizare avansată
-
Threading și cozi
-
Distribuit TensorFlow
-
Scrierea Documentation și partajarea modelului dvs.
-
Personalizarea cititoarelor de date
-
Manipularea TensorFlow fișierelor modelului
TensorFlow Servirea
-
Introducere
-
Tutorial Basic Serving
-
Tutorial de deservire avansată
-
Tutorial privind modelul de început al servirii
Cerințe
Studii de fizică, matematică și programare. Implicare în activități de procesare a imaginilor.
Delegații ar trebui să aibă o înțelegere prealabilă a conceptelor de învățare automată și ar trebui să fi lucrat cu programarea și bibliotecile Python.
Mărturii (5)
Hunter este fabulos, foarte captivant, extrem de bine informat și personal. Foarte bine făcut.
Rick Johnson - Laramie County Community College
Curs - Artificial Intelligence (AI) Overview
Tradus de catre o masina
The trainer explained the content well and was engaging throughout. He stopped to ask questions and let us come to our own solutions in some practical sessions. He also tailored the course well for our needs.
Robert Baker
Curs - Deep Learning with TensorFlow 2.0
Tomasz really know the information well and the course was well paced.
Raju Krishnamurthy - Google
Curs - TensorFlow Extended (TFX)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Curs - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.