Το μάθημα ασχολείται με τεχνικές προγραμματισμού παράλληλων συστημάτων και πιο συγκεκριμένα συστημάτων που ολοκληρώνουν πολλαπλούς υπολογιστικούς πυρήνες στο πλαίσιο μιας επεξεργαστικής μονάδας (multicores και manycores). Αφορά των προγραμματισμό συμβατικών και μη συμβατικών, ομογενών και ετερογενών παράλληλων αρχιτεκτονικών. Οι φοιτητές εισάγονται στις τεχνικές μέτρησης της επίδοσης, profiling, πειραματικής αξιολόγησης της αλληλεπίδρασης του λογισμικού με το υποκείμενο υλικό και βελτιστοποίησης.

Το μάθημα περιλαμβάνει σειρά περιοδικών ασκήσεων οι οποίες δίνουν την ευκαιρία στους φοιτητές να εμπεδώσουν και να εφαρμόσουν στην πράξη τη γνώση που απέκτησαν στο μάθημα.

Συνοπτικά εξετάζονται τα ακόλουθα αντικείμενα:

• Εισαγωγή, τεχνοοικονομικοί λόγοι που οδηγούν στην de facto επικράτηση των πολυπύρηνων επεξεργαστών, εφαρμογές παράλληλων υπολογιστών.
• Βασικές μετρικές, νόμος Amdahl, μέτρο Karp-Flatt, νόμος Gustafson-Barsis.
• Βασικά στοιχεία αρχιτεκτονικής παράλληλων συστημάτων, ταξινόμηση παράλληλων συστημάτων, χαρακτηριστικές συμβατικές και μη συμβατικές πολυπύρηνες αρχιτεκτονικές.
• Mεθοδολογίες πειραματικής εκτίμησης της επίδοσης εφαρμογών σε πολυπύρηνα συστήματα και της αλληλεπίδρασής τους με το υλικό.
• Τεχνικές βελτιστοποίησης της επίδοσης σε έναν πυρήνα (διακλαδώσεις, αποδοτική χρήση ιεραρχίας μνήμης, διαχείριση βρόχων, αργές εντολές και πίνακες αναζήτησης).
• Τεχνικές διανυσματοποίησης (vectorization), ευθυγράμμιση δεδομένων, αυτόματη διανυσματοποίηση.
• Mοντέλα προγραμματισμού για πολυπύρηνα παράλληλα συστήματα (OpenMP, Pthreads, OneAPI).
• Προγραμματισμός GPUs. Το μοντέλο προγραμματισμού CUDA.
• Aλληλεπίδραση του λογισμικού με την υποκείμενη ιεραρχία μνήμης, αποδοτική χρήση επιπέδων cache, προμεταφορές δεδομένων, επικάλυψη επικοινωνίας και υπολογισμού. Εμβάθυνση στο μοντέλο μνήμης της CUDA.
• Βελτιστοποίηση επίδοσης σε GPUs – Ζητήματα κινητής υποδιαστολής, ακρίβειας, σχέσης ακρίβειας και επίδοσης.
• Μελέτες περίπτωσης εφαρμογών σε CUDA: Ανακατασκευή MRI, Μοριακή οπτικοποίηση και ανάλυση.
• Τεχνικές υλοποίησης συγχρονισμού (locks, barriers) και η αλληλεπίδρασή τους με το υλικό, εναλλακτικές μέθοδοι συγχρονισμού (fine-grained, speculative, lazy, non-blocking), transactional memory.

Με την επιτυχή ολοκλήρωση του μαθήματος ο φοιτητής / τρια είναι σε θέση να:’

• Γνωρίζει τις βασικές παράλληλες αρχιτεκτονικές.
• Γνωρίζει τα βασικά βήματα που απαιτούνται για τη συγγραφή παράλληλων προγραμμάτων και είναι σε θέση να τα εφαρμόσει σε πραγματικούς κώδικες.
• Αντιλαμβάνεται την αλληλεπίδραση λογισμικού με το υποκείμενο υλικό και να αξιοποιεί αυτή την αντίληψη για την καλύτερη απεικόνιση του κώδικα στην εκάστοτε υποκείμενη αρχιτεκτονική.
• Γνωρίζει την αρχιτεκτονική βασικών υπηρεσιών για παράλληλους κώδικες (π.χ. διαφορετικών μεθόδων συγχρονισμού) και είναι σε θέση να επιλέξει την καταλληλότερη κάθε φορά υλοποίηση ανάλογα με τα χαρακτηριστικά του κώδικά του / της και της υποκείμενης αρχιτεκτονικής.
• Αναπτύσσει κώδικα για συμβατικές και μη συμβατικές πολυπύρηνες αρχιτεκτονικές, χρησιμοποιώντας το κατάλληλο κατά περίπτωση μοντέλο προγραμματισμού.
• Αναλύσει την επίδοση του κώδικα χρησιμοποιώντας τα κατάλληλα εργαλεία και να αξιοποιήσει τα αποτελέσματα της ανάλυσης για την βελτιστοποίηση του κώδικα.
• Ποσοτικοποιήσει την επίδοση του κώδικα τόσο σε μακροσκοπικό (χρόνο εκτέλεσης) όσο και σε χαμηλότερο επίπεδο (αλληλεπίδραση με το υλικό) χρησιμοποιώντας επιστημονικά αποδεκτές μεθοδολογίες και να καταγράψει τις παρατηρήσεις σε τεχνική αναφορά.

Ι. Αξιολόγηση περιοδικών εργασιών (με αναλυτικά σχόλια). Οι εργασίες συνεισφέρουν 50% στον υπολογισμό του τελικού βαθμού. Αξιολογούνται (σε παρένθεση ο αριθμός του αντίστοιχου μαθησιακού στόχου):

• Η ορθότητα της υλοποίησης (ii, v).
• Η χρήση των κατάλληλων δομών του εκάστοτε μοντέλου προγραμματισμού και των κατάλληλων τεχνικών παραλληλοποίησης (ii, v).
• Η βήμα-προς-βήμα βελτιστοποίηση για την υποκείμενη αρχιτεκτονική (iii, vi).
• Η επιστημονικά και τεχνικά ορθή πειραματική αξιολόγηση και ποσοτικοποίηση της επίδοσης σε μακροσκοπικό αλλά και σε χαμηλότερο επίπεδο (vii).
• Η ορθότητα, πληρότητα και η ποιότητα της τεχνικής αναφοράς (vii).

ΙΙ. Τελική γραπτή εξέταση, που συνεισφέρει κατά 50% στον υπολογισμό του τελικού βαθμού. Αξιολογούνται (σε παρένθεση ο αριθμός του αντίστοιχου μαθησιακού στόχου):

• Η γνώση των χαρακτηριστικών βασικών παράλληλων αρχιτεκτονικών και των διαφορών τους (i).
• Η αντίληψη της αλληλεπίδρασης μεταξύ υλικού και λογισμικού (iii).
• Η ικανότητα χρήσης βασικών δομών των παράλληλων μοντέλων προγραμματισμού που διδάχθηκαν (v).
• Η γνώση της εσωτερικής αρχιτεκτονικής βασικών υπηρεσιών (παρεχόμενων από το επίπεδο του λογισμικού ή του υλικού) που χρησιμοποιούν παράλληλα προγράμματα και η ικανότητα επιλογής των καταλληλότερων κατά περίπτωση (iv).

Τα κριτήρια και ο αλγόριθμος αξιολόγησης βρίσκονται αναρτημένα στην ιστοσελίδα του μαθήματος και άρα είναι διαθέσιμα στους φοιτητές.

• Εισαγωγή, τεχνοοικονομικοί λόγοι που οδηγούν στην de facto επικράτηση των πολυπύρηνων επεξεργαστών, εφαρμογές παράλληλων υπολογιστών. (1 εβδομάδα)
• Βασικές μετρικές, νόμος Amdahl, μέτρο Karp-Flatt, νόμος Gustafson-Barsis. (0,5 εβδομάδα)
• Βασικά στοιχεία αρχιτεκτονικής παράλληλων συστημάτων, ταξινόμηση παράλληλων συστημάτων, χαρακτηριστικές συμβατικές και μη συμβατικές πολυπύρηνες αρχιτεκτονικές. (1,5 εβδομάδα)
• Mεθοδολογίες πειραματικής εκτίμησης της επίδοσης εφαρμογών σε πολυπύρηνα συστήματα και της αλληλεπίδρασής τους με το υλικό. (0,5 εβδομάδα)
• Τεχνικές βελτιστοποίησης της επίδοσης σε έναν πυρήνα (διακλαδώσεις, αποδοτική χρήση ιεραρχίας μνήμης, διαχείριση βρόχων, αργές εντολές και πίνακες αναζήτησης). Τεχνικές διανυσματοποίησης (vectorization), ευθυγράμμιση δεδομένων, αυτόματη διανυσματοποίηση. (1 εβδομάδα)
• Mοντέλα προγραμματισμού για πολυπύρηνα παράλληλα συστήματα (OpenMP, Pthreads, OneAPI). (2 εβδομάδες)
• Προγραμματισμός GPUs. Το μοντέλο προγραμματισμού CUDA. (1 εβδομάδα)
• Aλληλεπίδραση του λογισμικού με την υποκείμενη ιεραρχία μνήμης, αποδοτική χρήση επιπέδων cache, προμεταφορές δεδομένων, επικάλυψη επικοινωνίας και υπολογισμού. Εμβάθυνση στο μοντέλο μνήμης της CUDA. (1 εβδομάδα)
• Βελτιστοποίηση επίδοσης σε GPUs – Ζητήματα κινητής υποδιαστολής, ακρίβειας, σχέσης ακρίβειας και επίδοσης. (1,5 εβδομάδα)
• Μελέτες περίπτωσης εφαρμογών σε CUDA: Ανακατασκευή MRI, Μοριακή οπτικοποίηση και ανάλυση. (1 εβδομάδα)
• Τεχνικές υλοποίησης συγχρονισμού (locks, barriers) και η αλληλεπίδρασή τους με το υλικό, εναλλακτικές μέθοδοι συγχρονισμού (fine-grained, speculative, lazy, non-blocking), transactional memory. (2 εβδομάδες)