Τα θέματα που καλύπτονται περιλαμβάνουν το μοντέλο επικοινωνίας πηγής-καναλιού, το αξιωματικό μοντέλο ορισμού της αβεβαιότητας και εντροπίας, σημαντικές πληροφοριακές ποσότητες, όπως από κοινού εντροπία, υπό συνθήκη εντροπία, σχετική εντροπία και αμοιβαία πληροφορία, πληροφοριακές ισότητες και ανισότητες, την αρχή της ασυμπτωτικής ισοκατανομής, ρυθμός εντροπίας, εντροπία αλυσίδων Markov, στιγμιαία αποκωδικοποιούμενοι και προθεματικοί κώδικες, ανισότητες Kraft/McMillan, τα θεωρήματα κωδικοποίησης πηγής του Shannon, κωδικοποίηση εντροπίας Huffman, Shannon, Shannon-Fano, Shannon-Fano-Elias και αριθμητική κωδικοποίηση, το μαθηματικό ορισμό ενός διαύλου επικοινωνίας, την αμοιβαία πληροφορία και της σημασίας της στις επικοινωνίες, χωρητικότητα καναλιού, κωδικοποίηση καναλιού, τα θεωρήματα κωδικοποίησης καναλιού του Shannon, χωρητικότητα συμμετρικών καναλιών, κανάλια με ανάδραση, συνεχείς πηγές και διαφορική εντροπία, Gaussian κανάλι, χωρητικότητα συνεχών καναλιών, αρχή πλήρωσης νερού, θεωρία ρυθμού-αλλοίωσης, τα θεωρήματα ρυθμού-αλλοίωσης του Shannon, καμπύλες ρυθμού-αλλοίωσς για Gaussian πηγή με μετρική απόστασης τετραγωνικού σφάλματος και πηγή Bernoulli με απόσταση Hamming, κβαντικοποίηση πολλαπλών πηγών, αρχή της αντίστροφης πλήρωσης νερού, αλγόριθμοι Arimoto – Blahut για τον υπολογισμό χωρητικότητας καναλιού και της συνάρτησης ρυθμού-αλλοίωσης, δικτυακή κωδικοποίηση.
Όλα τα θέματα καλύπτονται στην τάξη με μια παρουσίαση της αντίστοιχης θεωρίας και παραδειγμάτων, που ακολουθείται από αναθέσεις εργασιών για το σπίτι που βοηθούν τους φοιτητές να κατανοήσουν και να εφαρμόσουν όσα διδάσκονται στην τάξη. Μια ενδιάμεση εξέταση προόδου καλύπτει το πρώτο ήμισυ του μαθήματος (κωδικοποίηση πηγής), ενώ μια τελική εξέταση καλύπτει το δεύτερο ήμισυ (κωδικοποίηση καναλιού/ρυθμός-αλλοίωση). Προαιρετικές εργασίες βοηθούν τους φοιτητές να εμβαθύνουν τις γνώσεις τους σε επιλεγμένα θέματα, που απαιτούν τόσο θεωρητική ανάλυση όσο και υλοποίηση με λογισμικό.

• Τηλεπικοινωνιακό μοντέλο πηγής-καναλιού
• Αξιωματκός μοντέλο αβεβαιότητας και εντροπίας
• Λοιπές πληροφοριακές ποσότητες– από κοινού εντροπία, υπό συνθήκη εντροπία, σχετική εντροπία και αμοιβαία πληροφορία
• Πληροφοριακές ισότητες και ανισότητες
• Αρχή ασυμπτωτικής ισοκατανομής
• Ρυθμός εντροπίας, εντροπία αλυσίδων Markov
• Στιγμιαία αποκωδικοποιούμενοι και προθεματικοί κώδικες, ανισότητες Kraft/McMillan
• Θεωρήματα κωδικοποίησης πηγής του Shannon
• Κωδικοποίηση εντροπίας Huffman, Shannon, Shannon-Fano, Shannon-Fano-Elias και αριθμητική κωδικοποίηση
• Μαθηματικός ορισμός του δίαυλου επικοινωνίας, αμοιβαία πληροφορία και η σημασία της στις επικοινωνίες
• Χωρητικότητα καναλιού, κωδικοποίηση καναλιού
• Θεωρήματα κωδικοποίησης καναλιού του Shannon
• Χωρητικότητα συμμετρικών καναλιών, κανάλια με ανάδραση
• Συνεχείς πηγές και διαφορική εντροπία
• Gaussian κανάλι, χωρητικότητα συνεχών καναλιών
• Αρχή πλήρωσης νερού
• Θεωρία ρυθμού-αλλοίωσης
• Θεωρήματα ρυθμού-αλλοίωσης του Shannon
• Καμπύλες ρυθμού-αλλοίωσης για Gaussian πηγή με απόσταση τετραγωνικού σφάλματος και πηγή Bernoulli με απόσταση Hamming
• Κβαντικοποίηση πολλαπλών πηγών, αρχή αντίστροφης πλήρωσης νερού
• Αλγόριθμοι Arimoto-Blahut για υπολογισμό χωρητικότητας καναλιού και συνάρτησης ρυθμού-αλλοίωσης
• Δικτυακή κωδικοποίηση

Οι ασκήσεις για το σπίτι, η ενδιάμεση και τελική εξέταση προόδου καθώς και οι προαιρετικές εργασίες είναι επίσης σημαντικά συστατικά του μαθήματος.

Το μάθημα αυτό εισάγει τους φοιτητές στη θεωρία της πληροφορίας του Shannon, τη μαθηματική βάση των τηλεπικοινωνιών.
Αυτή η ενότητα είναι ένα προχωρημένο, βαθιά μαθηματικό μάθημα που παρέχει σταθερή και αυστηρή θεμελίωση για τα αντικείμενα των τηλεπικοινωνιών και της συμπίεσης σήματος. Είναι απαραίτητο για φοιτητές που επιθυμούν να συνεχίσουν σε μεταπτυχιακές σπουδές σε αυτούς τους τομείς. Μπορεί να οδηγήσει σε πολλαπλά θέματα κατάλληλα για διπλωματικές εργασίες.
Μέχρι το τέλος του μαθήματος, οι φοιτητές πρέπει να είναι σε θέση να επιλύουν προβλήματα κωδικοποίησης πηγής και κωδικοποίησης καναλιού, να επεξηγούν θεμελιώδη ζητήματα στον τομέα των τηλεπικοινωνιών και να επιλύουν σχετικά προβλήματα βελτιστοποίησης. Τυπικά οι φοιτητές θα έχουν αποκτήσει τις ακόλουθες δεξιότητες:

• Κατανόηση της φύσης της εντροπίας και των αρχών κωδικοποίησης, καθώς και της χωρητικότητας καναλιού και τη θεωρία ρυθμού-αλλοίωσης για διακριτές και συνεχείς πηγές.
• Ικανότητα να υπολογίζουν σχετικές πληροφοριακές ποσότητες για επιλεγμένες πηγές και κανάλια.
• Βελτιστοποίηση παραμέτρων συστημάτων με πολλαπλές πηγές/πολλαπλά κανάλια.
• Παρουσίαση και επεξήγηση των αποτελεσμάτων με τεχνικούς όρους και επαγγελματικό τρόπο.
• Τα προσόντα για να συνεχίσουν περαιτέρω και σε πιο εξειδικευμένα, στενά σχετιζόμενα θέματα.