Το αντικείμενο του μαθήματος καλύπτει την περιοχή των νευρωνικών δικτύων με αναφορά και σε άλλες τεχνικές από την ευρύτερη περιοχή της υπολογιστικής νοημοσύνης, όπως τα ασαφή συστήματα. Συγκεκριμένα, μελετά τα κάτωθι αντικείμενα:

• Βασικές έννοιες σχεδίασης και λειτουργίας νευρωνικών δικτύων (Neural Networks, NNs)
• Εστιάζει σε νευρωνικά δίκτυα:
  Feedforward NNs: MultiLayer Perceptrons (MLPs), Convolutional NNs (CNNs)
  Radial Basis Function NNs
  Competitive NNs: Self-Organizing Map (SOM), Learning Vector Quantization (LVQ)
  Hebbian NNs: Linear Autoencoder
  Recurrent NNs: Layered Digital Dynamic Networks (LDDN) in general, Long-Short Term Memory (LSTM), Gated Recurrent Units (GRUs)
  Optimization methods for training deep neural networks: (Stochastic) Gradient Descent, Adagrad, Adadelta, Adam, Newton, Conjugate Gradient, BFGS
  Deep architectures of NNs: MLPs, CNNs, RNNs
• Στοιχεία ασαφούς λογικής
• Στοιχεία ασαφών συνόλων
• Επικεντρώνει στην χρήση των παραπάνω σε υπολογισμούς (in function approximation, regression, classification)

Το μάθημα εισαγάγει τους φοιτητές στην θεωρία και πρακτική της νευρωνικής και ασαφούς υπολογιστικής. Το μάθημα ξεκινά με μια περίληψη των αρχών επεξεργασίας πληροφορίας σε βιολογικά συστήματα. Η καρδιά του μαθήματος περικλείει την θεωρία και τις ιδιότητες των σημαντικότέρων αλγορίθμων και αρχιτεκτονικών νευρωνικών δικτύων καθώς και των βασικών στοιχείων της ασαφούς λογικής και ασαφών (υπο)συνόλων. Οι φοιτητές θα έχουν την ευκαιρία να υλοποιήσουν και να εξευρενήσουν μερικά από τα μοντέλα αυτά σε πρακτικά προβλήματα (με χρήση του tensorflow, keras, …). Με το πέρας του μαθήματος, οι φοιτητές θα είναι ικανοί να αξιολογήσουν την εφαρμοσιμότητα των νεωρυνικών δικτύων σε μια δεδομένη εργασία, να επιλέξουν το κατάλληλο παράδειγμα νευρωνικού δικτύου, και να χτίσουν ένα μοντέλο νευρωνικού δικτύουν για την εργασία αυτή.

• Τρεις σειρές προβλημάτων
• Ομαδική προγραμματιστική εργασία υλοποίησης νευρωνικού δικτύου και εφαρμογής του
• Τελικός βαθμός μαθήματος: 45% εργασία + 55% σειρές προβλημάτων

Από μια εβδομάδα για καθένα από τα κάτωθι ζητήματα (εκτός του τελευταίου, όπου διατίθενται 1,5 εβδομάδες) παρεμβάλλοντας και διαλέξεις ασκήσεων

Introduction to Neural Networks
Introduction to TensorFlow

The basic Perceptron architecture and learning algorithm
Activation functions

The ADALINE (Widrow-Hoff) neural network
Multi-layer Perceptron and the backpropagation algorithm

Heuristic variations on backpropagation: Momentum, Variable learning rate
Optimization-based backpropagation: Conjugate gradient, Levenberg-Marquardt, Adagrad, RMSProp, Adadelta, Adam, AdaHessian

Convolutional neural networks Ι
Convolutional neural networks ΙI

Backpropagation for CNNs

Radial-Basis Function Neural Networks

Training RBF networks with Linear Least Squares (LLS)
Hamming network and Competitive Learning

Self-Organizing Feature Map and Learning Vector Quantization

Supervised Hebbian learning

(Dynamic) Recurrent networks: BackProp for two- and three-layer RNNs
Dynamic networks: Real Time Recurrent Learning (RTRL)
Dynamic networks: Backpropagation Through Time (BPTT)
Modern RNNs: LSTM, GRU

Fuzzy Subset Theory and Fuzzy Logic