ΗΥ672 Κωδικοποίηση Ήχου και Βίντεο

Το μάθημα καλύπτει το εξειδικευμένο αντικείμενο της συμπίεσης δεδομένων ήχου και βίντεο. Ξεκινά με μια παρουσίαση των σημάτων πολυμέσων (ήχος, εικόνα, βίντεο) και συστημάτων – τόσο υλικού όσο και λογισμικού. Το μάθημα επεκτείνεται σε τρία επίπεδα – παρουσίαση της θεωρίας, ανάλυση των σχετικών αλγορίθμων και την εφαρμογή τους τόσο σε λογισμικόόσο και σε υλικό. Στην αρχή, μελετάμε τις βασικές αρχές της επεξεργασίας των δεδομένων πολυμέσων, όπως δειγματοληψία και κβαντικοποίηση, τεχνικές παρεμβολής και στατιστικά μεγέθη. Στη συνέχεια, προχωράμε σε μετασχηματισμούς σημάτων, δίνοντας έμφαση στο διακριτό μετασχηματισμό συνημιτόνου (DCT),την επέκτασή του σε δύο διαστάσεις, και τη γρήγορη υλοποίησή του. Επιπλέον , εισάγουμε τις βασικήορολογία της συμπίεσης ήχου και βίντεο, όπως τα πλαίσια, macroblocks, διανύσματα κίνησης. Βασικές αρχές του ήχου, της φωνής και της μουσικής – ένταση, τονικότητα, αρμονικές. Κωδικοποιητές ήχου – MP3, AAC, κωδικοποίηση φωνής. Στοιχεία της θεωρίας πληροφορίας – εντροπία, Κωδικοποίηση Huffman, αριθμητική κωδικοποίηση, η θεωρία του ρυθμού-αλλοίωσης. Προ-και μετα-επεξεργασία των σημάτων πολυμέσων: μετατροπή χρωματικών συνιστωσών, dithering, interlaced βίντεο, deblocking φίλτρο. Εκτίμηση υπολογιστικής πολυπλοκότητας αλγορίθμων πολυμέσων, μέτρηση απόδοσης λογισμικού, βελτιστοποίηση λογισμικού. Διεθνή πρότυπα συμπίεσης ήχου και βίντεο MPEG1/MPEG2. Αρχιτεκτονική επεξεργαστών Intel IA32/Intel64 και παραλληλοποίηση εκτέλεσης σε επίπεδο δεδομένων με τη χρήση τεχνικών SIMD. Διεθνές πρότυπο ήχου και βίντεο MPEG4 – ανθεκτικότητα σε σφάλματα κατά τη μετάδοση. Ενσωματωμένοι επεξεργαστέςμε βάση τις αρχιτεκτονικές ARM και Tensilica. Πρότυπο συμπίεσης βίντεο Advanced Video Coding (AVC/H.264). Κωδικοποιητής βίντεο Υψηλής Απόδοσης (HEVC/H.265).
Όλα τα θέματα καλύπτονται στην τάξη με μια παρουσίαση της αντίστοιχης θεωρίας και παραδειγμάτων, που ακολουθείται από υλοποιήσεις σε γλώσσα προγραμματισμού C, τεχνικές βελτιστοποίησης και, τέλος, από αναθέσεις ασκήσεων για το σπίτι που υλοποιούν ορισμένα από τα θέματα. Απαιτείται από κάθε φοιτητή επιλογή και ολοκλήρωση τελικής εργασίας που δίνει την ευκαιρία στους φοιτητές να εφαρμόσουν τόσο τις αναλυτικέςόσο και τις συνθετικές τους δεξιότητες, ξεκινώντας με την ικανότητά τους να αναλύουν και να προσφέρουν λύση σε ένα θέμα συμπίεσης ήχου/βίντεο, να την υλοποιούν αποτελεσματικά μέσω λογισμικού και να το παρουσιάσουν κατάλληλα μέσα από μια έκθεση της τελικής τους εργασίας.
Σε τίτλους, τα θέματα είναι

• Σήματα πολυμέσων (ήχος , εικόνα , βίντεο) και συστήματα – υλικού και λογισμικού.
• Βασικές αρχές της επεξεργασίας δεδομένων πολυμέσων: δειγματοληψία και κβαντικοποίηση, τεχνικές παρεμβολής και στατιστικά μεγέθη.
• Βασικές αρχές της επεξεργασίας δεδομένων πολυμέσων: μετασχηματισμοί σημάτων, με έμφαση στον διακριτό μετασχηματισμό συνημιτόνου (DCT), επέκτασή του σε δύο διαστάσεις, και γρήγορη υλοποίηση.
• Βασικές αρχές της επεξεργασίας δεδομένων πολυμέσων: βασικές έννοιες της συμπίεσης ήχου και βίντεο – καρέ, macroblocks, διανύσματα κίνησης.
• Βασικές αρχές ήχου, φωνής και μουσικής – ένταση, τονικότητα, αρμονικές.
• Κωδικοποιητές ήχου – MP3, AAC, κωδικοποίηση φωνής.
• Στοιχεία της θεωρίας πληροφορίας – εντροπία, Κωδικοποίηση Huffman, αριθμητική κωδικοποίηση , θεωρία ρυθμού-αλλοίωσης.
• Προ-και μετα-επεξεργασία σημάτων πολυμέσων: μετατροπή χρωματικών συνιστωσών, dithering, interlaced βίντεο, deblocking φίλτρο.
• Εκτίμηση υπολογιστικής πολυπλοκότητας αλγορίθμων πολυμέσων, μέτρηση απόδοσης λογισμικού, βελτιστοποίηση λογισμικού.
• Διεθνή πρότυπα συμπίεσης ήχου και βίντεο MPEG1/MPEG2.
• Αρχιτεκτονική επεξεργαστών Intel IA32/Intel64 και παραλληλοποίηση εκτέλεσης σε επίπεδο δεδομένων με τη χρήση τεχνικών SIMD.
• Διεθνές πρότυπο ήχου και βίντεο MPEG4 – ανθεκτικότητα σε σφάλματα κατά τη μετάδοση.
• Ενσωματωμένοι επεξεργαστέςμε βάση τις αρχιτεκτονικές ARM και Tensilica.
• Πρότυπο συμπίεσης βίντεο Advanced Video Coding (AVC/H.264).
• Κωδικοποιητής βίντεο Υψηλής Απόδοσης (HEVC/H.265)

Οι ασκήσεις για το σπίτι και η τελική εργασία είναι επίσης σημαντικά συστατικά του μαθήματος.

Το μάθημα αυτό εισάγει τους φοιτητές στα αντικείμενα της κωδικοποίησης ήχου και βίντεο, τις βασικές αρχές , αλγόριθμους και εφαρμογές τους.

Αυτή η ενότητα αποτελεί ένα προχωρημένο, με έμφαση τις εφαρμογές, μάθημα που παρέχει στους φοιτητές τις ευκαιρίες να αναπτύξουν τις δικές τους ιδέες σε χρήσιμες εφαρμογές, να μάθουν επαγγελματικά εργαλεία και τεχνικές ανάπτυξης λογισμικού, και να δοκιμάσουν τις γνώσεις τους σε ερευνητικά θέματα. Μπορεί να παράσχει περαιτέρω το σημείο εκκίνησης για προχωρημένα θέματα συμπίεσης ήχου/βίντεο που μπορούν να συνδυαστούν σε μεταγενέστερα εξάμηνα και, τέλος, τη βάση για αντίστοιχες διπλωματικές εργασίες .
Μέχρι το τέλος του μαθήματος, οι φοιτητές πρέπει να είναι σε θέση να χειρίζονταιαρχεία ήχου και βίντεο με τις κατάλληλες διαδικασίες συμπίεσης και αποσυμπίεσης, να κατανοήσουν τα αντίστοιχα διεθνή πρότυπα, να μάθουν να εργάζονται με επαγγελματικά εργαλεία ανάπτυξης λογισμικού σε προσωπικούς υπολογιστές, να βρίσκουν και να διορθώνουν προβλήματα λογικής σε πολύπλοκους αλγόριθμους, να βελτιστοποιούν κρίσιμες ως προς το χρόνο εκτέλεσης λειτουργίες και να εξηγούν αποτελέσματα με επιστημονικούς/τεχνικούς όρους . Τυπικά, οι φοιτητές θα έχουν αποκτήσει τις ακόλουθες δεξιότητες:

• Κατανόηση της φύσης και των χαρακτηριστικών του ήχου και βίντεο, τα χαρακτηριστικά των codecs και των εφαρμογών των διαφόρων τεχνικών επεξεργασίας σήματος για ήχο και βίντεο.
• Δυνατότητα επιλογής του κατάλληλου κωδικοποιητή για διαφορετικές εφαρμογές.
• Διαχείριση πολύπλοκου λογισμικού που γράφτηκε από άλλους, όπως κωδικοποιητές και αποκωδικοποιητές αναφοράς που συνοδεύουν τα διεθνή πρότυπα.
• Παρουσίαση και επεξήγηση των αποτελεσμάτωνμε τεχνικούς όρους και επαγγελματικό τρόπο.
• Ικανότητα να σχεδιάσουν τους δικούς τους αλγορίθμους, συνδυάζοντας τις γνώσεις που απέκτησαν με σκοπό την επίλυση νέων προβλημάτων.
• Τα προσόντα για να συνεχίσουν περαιτέρω και σε πιο εξειδικευμένα, στενά σχετιζόμενα θέματα.
• Μέτρηση αποδοτικότητας και βελτιστοποίηση του χρόνου εκτέλεσης κρίσιμων αλγορίθμων σε σύνθετα συστατικά στοιχεία λογισμικού.