Το μάθημα αποτελεί εισαγωγή στους παράλληλους και δικτυακούς αλγορίθμους και υπολογισμούς σε μοντέρνους υπερ-υπολογιστές και δικτυακές συστοιχίες υπολογιστών.

Θεωρία:

Σχεδιασμός παραλλήλων και δικτυακών κατανεμημένων αριθμητικών και μη-αριθμητικών αλγορίθμων.

MultiProcessing (MP) Specification και Message Passing Interface (MPI) Standard.

Προβλήματα συγχρονισμού, εξισορρόπησης υπολογιστικού έργου/φόρτου, συγχρονισμού, επικοινωνιακού κόστους και κλιμάκωσης.

Ανάλυση, αξιολόγηση, και πρόβλεψη συμπεριφοράς παράλληλων αλγορίθμων και υπολογισμών.

Οι αλγόριθμοι θα επιλέγονται από προβλήματα Αριθμητικής Γραμμικής Άλγεβρας, Αριθμητικής Επίλυσης Διαφορικών Εξισώσεων, Βελτιστοποίησης, N-Body προβλημάτων, Ταξινόμησης, Prefix/Suffix, Μετασχηματισμών Fourier κλπ.

Εργαστήριο:

Προγραμματισμός σε περιβάλλοντα κοινής μνήμης με OpenMP API.

Προγραμματισμός σε περιβάλλοντα ανταλλαγής μηνυμάτων με OpenMPI / MPICH2 για Point2Point και Collective μορφές επικοινωνίας.

Σχεδιασμός και υλοποίηση προγραμμάτων για την επίλυση προβλημάτων στα παραπάνω περιβάλλοντα. Μελέτη αποδοτικότητας παράλληλων προγραμμάτων.

Το μάθημα έχει σκοπό να δώσει στους φοιτητές μια προηγμένη διεπιστημονική εισαγωγή στους εφαρμοσμένους παράλληλους υπολογισμούς σε σύγχρονους υπερυπολογιστές γύρω από διάφορα θέματα (π.χ., αριθμητική γραμμική άλγεβρα, αριθμητική επίλυση διαφορικών εξισώσεων, προβλήματα Ν-body, prefix/suffix, ταξινόμηση, βελτιστοποίηση, μετασχηματισμούς Fourier κ.α.). Διδάσκονται βασικές έννοιες σε προγραμματισμό κοινής και κατανεμημένης μνήμης.

Με την επιτυχή ολοκλήρωση του μαθήματος ο φοιτητής / η φοιτήτρια θα:
• Έχει κατανοήσει τα μοντέλα, τους περιορισμούς και τις θεμελιώδεις έννοιες στον τομέα του παράλληλου προγραμματισμού σε περιβάλλοντα ανταλλαγής μηνυμάτων (message passing) και κοινής μνήμης (shared memory), και θα μπορεί να εφαρμόσει τη γνώση αυτή σε διάφορους αλγόριθμους και συστήματα.
• Μπορεί να σχεδιάζει και προσαρμόζει αλγορίθμους για την εκτέλεση τους σε παράλληλα και κατανεμημένα περιβάλλοντα.
• Μπορεί να αναλύει τους αλγόριθμους για την ορθότητα, την αξιοπιστία, την ασφάλεια και την απόδοσή τους.
• Υλοποιεί ένα παράλληλο πρόγραμμα σε περιβάλλοντα ανταλλαγής μηνυμάτων (message passing) και κοινής μνήμης (shared memory).

– Γραπτή τελική εξέταση (70%)
Ερωτήσεις θεωρίας
Ασκήσεις
Επίλυση προβλημάτων

– Εργασίες (30%)
Ερωτήσεις θεωρίας
Σχεδιασμός και υλοποίηση προγραμμάτων με OpenMP, OpenMPI / MPICH2

• Εισαγωγή στους Παράλληλους Υπολογισμούς και Επανάληψη σε αναγκαίες μαθηματικές έννοιες. (1 εβδομάδα)
• Πλατφόρμες Παράλληλου Προγραμματισμού. (1 εβδομάδα)
• Σχεδιασμός Παράλληλων Αλγορίθμων. (2 εβδομάδες)
• Μελέτη Παράλληλης Συμπεριφοράς. (1 εβδομάδα)
• Πράξεις Επικοινωνίας. (1 εβδομάδα)
• OpenMP. (1 εβδομάδα)
• Message Passing Interface – MPI (1 εβδομάδα)
• Παράλληλοι Αλγόριθμοι για Γινόμενα Διανυσμάτων, Γινόμενα Πίνακα με Διάνυσμα, Γινόμενα Πινάκων και FFT. (2 εβδομάδες)
• Παράλληλοι Υπολογισμοί Πολυωνυμικών Εκφράσεων, Parallel prefix/suffix problem. (1 εβδομάδα)
• Παράλληλοι Μη Αριθμητικοί Αλγόριθμοι (π.χ. Ταξινόμηση). (1 εβδομάδα)
• Παράλληλοι Αλγόριθμοι για επίλυση Μερικών Διαφορικών Εξισώσεων ή προβλημάτων Βελτιστοποίησης. (1 εβδομάδα)
• Επανάληψη. (1 εβδομάδα)