ΜΔΕ658 Προχωρημένα Θέματα Αρχιτεκτονικής Υπολογιστών

Το μάθημα “Προχωρημένα Θέματα Αρχιτεκτονικής Υπολογιστών” εισάγει τους μεταπτυχιακούς φοιτητές σε προχωρημένες έννοιες της περιοχής της Αρχιτεκτονικής Υπολογιστών. Περιλαμβάνει τις παρακάτω βασικές ενότητες:

• H ανάγκη για δημιουργία παράλληλων και ετερογενών αρχιτεκτονικών.
• Είδη παραλληλισμού σε εφαρμογές (παραλληλισμός εντολών, δεδομένων, νήματος, διεργασιών)
• Παραλληλισμός σε επίπεδο εντολών με την χρήση του υλικού
• Παράδειγμα: Graphics Processing Units (GPUs) – CUDA
• Simultaneous multithreading – SMT processors Παράδειγμα: Επεξεργαστές IBM – Power. Επεξεργαστές Ιntel x86.
• Ιεραρχία μνήμης και τεχνικές υλικού και λογισμικού αύξησης της αποδοτικότητας της ιεραρχίας μνήμης
• Shared and Distributed συστήματα μνήμης
• Πρωτόκολλα Memory Coherence and Memory consistency και συγχρονισμός νημάτων (threads)
• Αρχιτεκτονική για σύγχρονα Datacenters
• Σύγχρονες αρχιτεκτονικές και μηχανική μάθηση (Machine Learning)

Το μάθημα περιλαμβάνει μια λεπτομερή μελέτη της αρχιτεκτονικής, του σχεδιασμού και της απόδοσης προηγμένων επεξεργαστικών συστημάτων με έμφαση στην επίπτωση που έχει ο παραλληλισμός στον σχεδιασμό τέτοιων συστημάτων.  Με την επιτυχή ολοκλήρωση του μαθήματος ο φοιτητής /τρια θα είναι σε θέση να:

• Να έχει άριστη κατανόηση της δομής και της λειτουργικότητας ενός παράλληλου επεξεργαστικού συστήματος γενικού σκοπού σε επίπεδο εντολής, σε επίπεδο δεδομένων, σε επίπεδο νήματος, και σε επίπεδο πυρήνα.
• Να κατανοήσει αρχιτεκτονικές δυναμικού χρονοπρογραμματισμού (dynamic scheduling) μέσω του αλγόριθμου Tomasulo. Να καταλάβει τον ρόλο των precise exceptions στις αρχιτεκτονικές αυτές και την σημασία των Reorder Buffers.
• Να κατανοήσει αρχιτεκτονικές στατικού χρονοπρογραμματισμού με την χρήση του compiler. Πιό συγκεκριμένα να καταλάβει τις βασικές ιδέες τεχνικών όπως predication, speculation, superblocks, hyperblocks, modulo scheduling. Να κατανοήσει τις αρχιτεκτονικές Very Large Instruction Word (VLIW) μέσω των επεξεργαστών Itanium.
• Να γνωρίσει τις αρχιτεκτονές πρόβλεψης εντολών διακλάδωσης (branch prediction) και την σημασία που έχει η επίλυση τέτοιων προβλημάτων στα επεξεργασικά συστήματα.
• Να γνωρίσει σύγχρονα επεξεργαστικά συστήματα όπως Chip Multiprocessors, GPUs, Clusters κοκ.
• Να αναλύσει διάφορους τύπων μνήμης (π.χ., μνήμη cache, δυvαμική μνήμη DRAM), τις βασικές σχεδιαστικές τους αρχές κάθως και την επίπτωση που έχουν διάφοροι σχεδιαστικοί τους παράμετροι στην απόδοση ενός σύγχρονου επεξεργαστικού συστήματος. Να κατανοήσει την βελτιστοποίηση των μνημών cache μέσω μηχανισμών υλικού και λογισμικού.
• Να κατανοήσει τα προβλήματα που δημιουργεί ένα πολυπύρηνο σύστημα επεξεργαστών στην ιεραρχία της μνήμης και πως επιλύονται τα προβλήματα αυτά. Για παράδειγμα, cache coherence, cache consistency και synchronization και να μελετήσει τους μηχανισμούς που έχουν προταθεί για την επίλυση αυτών των προβλημάτων.
• Να κατανοήσει την αρχιτεκτονική των σύγχρονων επιταχυντών (accelerators) με ιδαίτερη έμφαση στους επιταχυντές συστημάτων Μηχανικής Μάθησης (Machine Learning). Να κατανοήσεις αρχιτεκτονικές όπως Tensor Processing Units (TPUs) της Google.

• Γραπτή τελική εξέταση (30%) που περιλαμβάνει:
  – Επίλυση προβλημάτων με ποσοτικά δεδομένα
  – Συγκριτική αξιολόγηση στοιχείων θεωρίας
• Παρουσίαση Ομαδικής Εργασίας (40%)
• Ασκήσεις και Homeworks (30%)

Τα κριτήρια αξιολόγησης γνωστοποιούνται στους φοιτητές στην αρχή του εξαμήνου και υπάρχουν διαθέσιμα στην ιστοσελίδα του μαθήματος.

To λεπτομερές περιεχόμενο του μαθήματος είναι το παρακάτω:

• H ανάγκη για δημιουργία παράλληλων αρχιτεκτονικών (0,5 εβδομάδες)
• Επανάληψη ύλης της Οργάνωσης Η/Υ (1 εβδομάδα)
• Είδη παραλληλισμού σε εφαρμογές (παραλληλισμός εντολών, δεδομένων, νήματος, διεργασιών) (0,5 εβδομάδες)
• Παραλληλισμός σε επίπεδο εντολών με την χρήση του υλικού – Δυναμικός χρονοπρογραμματισμός και αλγόριθμος Tomasulo (0,5 εβδομάδες)
• Παράδειγμα: Intel’s x86 πολυπύρηνες μικροαρχιτεκτονικές (0,5 εβδομάδες)
• Τεχνολογία VLIW – Αλγόριθμοι για Software pipelining και Modulo scheduling (1 εβδομάδα)
• Προχωρημένοι αλγόριθμοι μεταγλωττισμού: Superblocks, Hyperblocks, Predication, Speculation  (2 εβδομάδες)
• Παράδειγμα: Intel’s EPIC αρχιτεκτονική και επεξεργαστές Itanium (0,5 εβδομάδες)
• Παράδειγμα: Graphics Processing Units (GPUs) – CUDA  (1 εβδομάδα)
• Simultaneous multithreading – SMT processors Παράδειγμα: Επεξεργαστές IBM – Power
• (0,5 εβδομάδες)
• Ιεραρχία μνήμης και τεχνικές υλικού και λογισμικού αύξησης της αποδοτικότητας της ιεραρχίας μνήμης (1 εβδομάδα)
• Συστήματα για data prefetching στην ιεραρχία μνήμης (0,5 εβδομάδες)
• Shared and Distributed συστήματα μνήμης (1 εβδομάδα)
• Πρωτόκολλα Memory Coherence and Memory consistency (1 εβδομάδα)
• Συγχρονισμός (0,5 εβδομάδες)
• Αρχιτεκτονικές για επεξεργασία αλγορίθμων Μηχανικής Μάθησης (Machine Learning) (1 εβδομάδα)

To project του μαθήματος αφορά την προσομοίωση παράλληλων αρχιτεκτονικών είτε με την χρήση πραγματικών συστημάτων είτε με προσομοιωτές (simulators) σε μετρο-προγράμματα (benchmarks).