Το μάθημα επικεντρώνεται στις βασικές έννοιες επεξεργασίας φωνής και ήχου, με ιδιαίτερη έμφαση στην ανθρώπινη φωνή, και δη στην παραγωγή, αντίληψη, αναπαράσταση, κωδικοποίηση, σύνθεση, και αναγνώρισή της. Επίσης, καλύπτεται και η επεξεργασία γενικότερων ακουστικών σημάτων, και ειδικότερα σημάτων μουσικής.

Συνοπτικά, το μάθημα καλύπτει τις εξής περιοχές:

• Εισαγωγή στην ψηφιακή επεξεργασία φωνής.
• Επανάληψη βασικών γνώσεων ψηφιακής επεξεργασίας σήματος.
• Θεμελιώδεις έννοιες παραγωγής ανθρώπινης φωνής και διάδοση ήχου στην ανθρώπινη φωνητική οδό.
• Ακοή, ακουστικά μοντέλα, και αντίληψη ομιλίας.
• Μέθοδοι επεξεργασίας φωνής στο πεδίο του χρόνου.
• Αναπαραστάσεις στο πεδίο της συχνότητας.
• Ομομορφική επεξεργασία φωνής και cepstrum.
• Ανάλυση γραμμικής πρόβλεψης σημάτων φωνής.
• Αλγόριθμοι εκτίμησης παραμέτρων σήματος φωνής.
• Ψηφιακή κωδικοποίηση σημάτων ομιλίας.
• Κωδικοποίηση φωνής και ήχου στο πεδίο των συχνοτήτων.
• Σύνθεση ομιλίας από κείμενο.
• Αυτόματη αναγνώριση ομιλίας με χρήση κρυφών μοντέλων Markov.
• Εξαγωγή χαρακτηριστικών και αναγνώριση μουσικών σημάτων.
• Βασικά υπολογιστικά εργαλεία σε Matlab (συμπεριλαμβανομένου και της εργαλειοθήκης MIR και της OpenSMILE) που υλοποιούν τα παραπάνω.
• Σύντομη εισαγωγή στην εργαλειοθήκη κρυφών μοντέλων Markov (ΗΤΚ).

Το μάθημα εισάγει τους φοιτητές στις βασικές έννοιες και αλγορίθμους επεξεργασίας φωνής και ήχου, με ιδιαίτερη έμφαση στην ανθρώπινη φωνή, όπως και γενικότερων ακουστικών σημάτων, με έμφαση σε σήματα μουσικής. Το μάθημα παρέχει ταυτόχρονα πληθώρα παραδειγμάτων που επιτρέπουν την εξοικείωση των φοιτητών με αυτά, όπως επίσης και πρακτικά υπολογιστικά εργαλεία σε Matlab, OpenSMILE, και ΗΤΚ, επιδεικνύοντας περαιτέρω τα παραπάνω.

Το μάθημα προσφέρει επιπλέον εξειδίκευση ως συνέχεια των μαθημάτων της ψηφιακής επεξεργασίας σημάτων και αναγνώρισης προτύπων, επιτρέποντας στους φοιτητές περισσότερη εμβάθυνση στη μελέτη των συγκεκριμένων σημάτων (φωνής και ήχου).

Οι φοιτητές που έχουν ολοκληρώσει επιτυχώς το μάθημα θα έχουν αποκτήσει καλή κατανόηση και γνώσεις των κύριων ιδεών, αλγορίθμων, και εργαλείων στην περιοχή της επεξεργασίας σημάτων φωνής και ήχου. Για παράδειγμα, θα είναι σε θέση να:

• Κατανοήσουν τη διαδικασία της παραγωγής και αντίληψης της ανθρώπινης φωνής.
• Εξάγουν κατάλληλα χαρακτηριστικά από το σήμα της φωνής σε διάφορα πεδία και επιλέξουν τα πιο κατάλληλα από αυτά για το ειδικότερο πρόβλημα που καλούνται να αντιμετωπίσουν
• Εκτελέσουν βασικούς αλγόριθμους για αναγνώριση και σύνθεση φωνής.
• Εξάγουν πληθώρα χαρακτηριστικών από μουσικά σήματα.
• Υλοποιήσουν κώδικα στα υπολογιστικά περιβάλλοντα του Matlab, OpenSMILE, και HTK για την επίτευξη των παραπάνω.

Τα παρακάτω χρησιμοποιούνται για την αξιολόγηση των φοιτητών (με κατάλληλα βάρη):

Ι. Τελική Γραπτή Εξέταση:

• Επίλυση προβλημάτων.
• Ερωτήσεις σύντομης απάντησης.

II. Εργασία στο Σπίτι:

• Επίλυση προβλημάτων.
• Ερωτήσεις σύντομης απάντησης.

IΙΙ. Εκπόνηση Μελέτης:

• Ομαδική υπολογιστική εργασία (σε Matlab / OpenSMILE).

Τα κριτήρια αξιολόγησης αναφέρονται ρητά κατά τη διάρκεια της πρώτης εισαγωγικής διάλεξης.

• Επανάληψη βασικών γνώσεων ψηφιακής επεξεργασίας σήματος: 1 εβδομάδα.
• Θεμελιώδεις έννοιες παραγωγής ανθρώπινης φωνής και διάδοσης ήχου στην ανθρώπινη φωνητική οδό, ακοής και ανθρώπινης αντίληψης ομιλίας: 1 εβδομάδα.
• Μέθοδοι επεξεργασίας φωνής στο πεδίο του χρόνου: 1 εβδομάδα.
• Αναπαραστάσεις στο πεδίο της συχνότητας, ομομορφική επεξεργασία φωνής και cepstrum, και ανάλυση γραμμικής πρόβλεψης σημάτων φωνής: 2 εβδομάδες.
• Αλγόριθμοι εκτίμησης παραμέτρων σήματος φωνής: 1 εβδομάδα.
• Ψηφιακή κωδικοποίηση σημάτων ομιλίας και κωδικοποίηση φωνής και ήχου στο πεδίο των συχνοτήτων: 1 εβδομάδα.
• Σύνθεση ομιλίας από κείμενο: 1 εβδομάδα.
• Αυτόματη αναγνώριση ομιλίας με χρήση κρυφών μοντέλων Markov: 2 εβδομάδες.
• Εξαγωγή χαρακτηριστικών και αναγνώριση μουσικών σημάτων: 1 εβδομάδα.
• Βασικά υπολογιστικά εργαλεία σε Matlab (συμπεριλαμβανομένου και της εργαλειοθήκης MIR και της OpenSMILE) που υλοποιούν τα παραπάνω,  και σύντομη εισαγωγή στην εργαλειοθήκη κρυφών μοντέλων Markov (ΗΤΚ): 2 εβδομάδες.