Καλησπέρα σας,
Αφορά σε μια πολύ ενδιαφέρουσα ομιλία προς τους φοιτητές της ΣΗΜΜΥ τη Δευτέρα, από τον Ι. Μπάρα, University of Maryland:
---------------------------------------------------------------------------- ---------------------------------------------------------------------------- -------
Ομιλία Ιωάννη Μπάρα, "Νευρομορφική Τεχνητή Νοημοσύνη: Από Μαθηματικά Θεμέλια της Βαθιάς Μάθησης στο «Εγκεφαλικό Φλοιό πάνω σε Τσίπ», Δευτέρα 4/6 και ώρα 17:00 στο ΑΜΦ1.
Ο καθηγητής στο Πανεπιστήμιο του Maryland και παλαιός απόφοιτος της ΣΗΜΜΥ, στο πλαίσιο της αναγόρευσής του σε επίτιμο διδάκτορα του ΕΜΠ την ερχόμενη Τρίτη 5/6,
θα δώσει ομιλία στους φοιτητές στη Σχολή μας την Δευτέρα 4/6 και ώρα 17:00 στο ΑΜΦ1 στα Νέα κτήρια Ηλεκτρόγων, αμέσως μετά το μάθημα των Λειτουργικών Συστημάτων.
Η ομιλία συνδυάζει τις σύγχρονες μη παραδοσιακές αρχιτεκτονικές για προηγμένη μηχανική μάθηση προσομοιώνοντας τη λειτουργία του εγκεφάλου (Cortex-on-a-Chip).
Με εκτίμηση,
Άρης Κοζύρης
Κοσμήτορας ΣΗΜΜΥ
Τίτλος:
Νευρομορφική Τεχνητή Νοημοσύνη: Από Μαθηματικά Θεμέλια της Βαθιάς Μάθησης στο
«Εγκεφαλικό Φλοιό πάνω σε Τσίπ»
Neuromorphic Artificial Intelligence: From Mathematical Foundations of Deep Learning to
"Cortex-on-a-Chip"
Περίληψη
Η βαθιά εκμάθηση και η τεχνητή νοημοσύνη έχουν προσελκύσει τεράστια προσοχή πρόσφατα. Ο
συναγωνισμός για τον σχεδιασμό και την κατασκευή υπολογιστών τύπου «εγκεφάλου» είναι σε
εξέλιξη και αρκετές εταιρείες έχουν παραγάγει διάφορα τέτοια ηλεκτρονικά τσίπς. Ωστόσο, η
τρέχουσα κατάσταση των πραγμάτων είναι πολύ ανεπαρκής και αυθέραιτη. Περιγράφουμε ένα
μαθηματικό πλαίσιο που αναπτύξαμε που παρέχει μια ιεραρχική αρχιτεκτονική για μάθηση και
γνώση. Η αρχιτεκτονική συνδυάζει έναν προεπεξεργαστή κυματιδίων, έναν εξαγωγέα
χαρακτηριστικών που είναι αμετάβλητα σε ομάδα μετασχηματισμών και έναν ιεραρχικό (με
στρώσεις) αλγόριθμο μάθησης. Υπάρχουν δύο βρόχοι ανάδρασης, από την έξοδο εκμάθησης στον
εξαγωγέα χαρακτηριστικών και άλλος ένας πίσω στον προεπεξεργαστή κυματιδίων. Δείχνουμε
ότι το σχήμα μπορεί να ενσωματώσει όλες τις τυπικές μετρικές διαφορές, αλλά και μη μετρικά
μέτρα ανομοιότητας όπως οι αποκλίσεις Bregman. Η ενότητα μάθησης ενσωματώνει δύο
καθολικούς αλγορίθμους μάθησης στην ιεραρχική δέντρο-δομημένη μορφή τους, και οι δύο από
τον Kohonen, Learning Vector Quantization (LVQ) για επιβλεπόμενη μάθηση και Self-
Organizing Map (SOM) για μή επιβλεπόμενη μάθηση. Επιδεικνύουμε την ανώτερη απόδοση των
αλγορίθμων και της αρχιτεκτονικής που προκύπτουν σε μια ποικιλία πρακτικών προβλημάτων,
όπως: αναγνώριση ομιλητή και ήχου, ταυτόχρονη αναγνώριση της κατεύθυνσης του ήχου και
ταυτότητες ομιλητή και φωνήεντος, αναγνώριση προσώπου. Επιδεικνύουμε πώς αυτές οι
μαθηματικές βάσεις μπορούν να χρησιμοποιηθούν για την παροχή συστηματικών μοντέλων
σχεδιασμού, ανάλυσης και αξιολόγησης βαθιών νευρωνικών δικτύων. Περιγράφουμε τρέχουσα
εργασία και σχέδια για ηλεκτρονικές υλοποιήσεις μικτού σήματος (ψηφιακές και αναλογικές) που
μιμούνται αρχιτεκτονικά μοντέλα του εγκεφαλικού φλοιού των ζώων υψηλού επιπέδου και
ανθρώπων, για την αντίληψη καί γνώση ήχου και όρασης. Η προκύπτουσα αρχιτεκτονική είναι μη
von Neumann (δηλ. υπολογιστής και μνήμη δεν διαχωρίζονται στο ηλεκτρονικό υλικό) και
νευρομορφική. Ονομάζουμε την κλάση τσίπ που προκύπτει «Εγκεφαλικός Φλοιός πάνω σε Τσίπ».
Neuromorphic Artificial Intelligence: From Mathematical Foundations of Deep Learning to
"Cortex-on-a-Chip"
Abstract
Deep Learning and Artificial Intelligence have attracted enormous attention recently. The race to
design and manufacture "brain-like" computers is on and several companies have produced
various such chips. Yet, the current state of affairs is very unsatisfactory and ad hoc. We describe
a mathematical framework we have developed that provides a hierarchical architecture for learning
and cognition. The architecture combines a wavelet preprocessor, a group invariant feature
extractor and a hierarchical (layered) learning algorithm. There are two feedback loops, one back
from the learning output to the feature extractor and one all the way back to the wavelet
preprocessor. We show that the scheme can incorporate all typical metric differences but also nonmetric
dissimilarity measures like Bregman divergences. The learning module incorporates two
universal learning algorithms in their hierarchical tree-structured form, both due to Kohonen,
Learning Vector Quantization (LVQ) for supervised learning and Self-Organizing Map (SOM) for
unsupervised learning. We demonstrate the superior performance of the resulting algorithms and
architecture on a variety of practical problems including: speaker and sound identification,
simultaneous determination of sound direction of arrival speaker and vowel ID, face recognition.
We demonstrate how the underlying mathematics can be used to provide systematic models for
design, analysis and evaluation of deep neural networks. We describe current work and plans on
mixed signal (digital and analog) micro-electronic implementations that mimic architectural
abstractions of the cortex of higher-level animals and humans, for sound and vision perception and
cognition. The resulting architecture is non-von Neumann (i.e. computing and memory are not
separated in the hardware) and neuromorphic. We call the resulting chip class "Cortex-on-a-Chip".
ΙΩΑΝΝΗΣ ΜΠΑΡΑΣ (Σύντομο Βιογραφικό, Οκτώβριος 2017)
Ο Γιάννης Μπάρας έλαβε το δίπλωμα Μηχανολόγου - Ηλεκτρολόγου Μηχανικού από την ενιαία Σχολή Μηχανολόγων - Ηλεκτρολόγων του Ε.Μ.Π. το 1970. Στη διάρκεια των προπτυχιακών του σπουδών έγινε ιδιαίτερα γνωστός με το βοηθητικό σύγγραμμά του σε Ηλεκτρομαγνητισμό και Ασύρματες Τηλεπικοινωνίες, χάρις στο οποίο γενιές παλαιοτέρων συναδέλφων μυήθηκαν στο πεδίο αυτό.
Μετά την αποφοίτησή του συνέχισε μεταπτυχιακές σπουδές στο Harvard σε Εφαρμοσμένα Μαθηματικά. Έλαβε το Master of Science το 1971 και το Ph.D. το 1973, δύο χρόνια μετά. Έκτοτε ξεκίνησε μια ιδιαίτερα διακεκριμένη πορεία στις ΗΠΑ με κύρια απασχόληση σαν Καθηγητής στο Τμήμα Ηλεκτρολόγων Μηχ. & Μηχ. Υπολογιστών στο University of Maryland από το 1973 μέχρι σήμερα. Από το 1990 κατέχει την έδρα Lockheed Martin in Systems Engineering.
Το 1985 ήταν κινητήριος μοχλός για την ίδρυση του ISR (institute for Systems Research) με έδρα το Πανεπιστήμιο του Maryland. Το ISR ήταν ένα από τα 6 προηγμένα Ερευνητικά Ινστιτούτα που ιδρύθηκαν τότε στις ΗΠΑ με κύρια χρηματοδότηση από την NSF (National Science Foundation). Ο Γιάννης Μπάρας υπήρξε Διευθυντής του ISR από την ίδρυσή του μέχρι το 1995. Το 1992 ίδρυσε το Center for Hybrid and Satellite Communication Networks με κύριο χρηματοδότη τη NASA. Έχει επιβλέψει περισσότερα από πενήντα διδακτορικά και έχει πάνω από πεντακόσιες επιστημονικές δημοσιεύσεις με πληθώρα διακρίσεων. Έχει κατοχυρώσει έντεκα πατέντες, από τις οποίες δυο έλαβαν τη διάκριση Invention of the Year του Πανεπιστημίου του Maryland. Ο Δρ. Μπάρας είναι Fellow της IEEE, του SIAM και της AAAS. Το 2006 εκλέχθηκε Foreign Member της Royal Swedish Academy of Engineering Sciences.
Ανάμεσα στις πρόσφατες διακρίσεις που έχει λάβει, περιλαμβάνονται:
? IEEE Simon Ramo Medal (for exceptional contributions to the conception and commercialization of internet-over-satellite systems, and for leadership in model-based engineering, systems science, and engineering research), 2016
? Fellow, International Federation for Automatic Control - IFAC (for contributions to the theory and applications of stochastic systems and control and communication networks and for leadership in cross-disciplinary research and education), 2016
? James Clark School of Engineering Innovation Hall of Fame, University of Maryland (for his outstanding contributions to Internet over satellite technology and hybrid networks, which has enabled broadband Internet services over interoperable satellite and terrestrial networks), 2016
? Fellow, National Academy of Inventors - NAI & Fellow, American Association for the Advancement of Science - AAAS (for distinguished contributions to the fields of systems and control, communication networks, network security, and leadership in establishing outstanding cross disciplinary research and education programs), 2014
? Hans Fischer Senior Fellowship, Institute for Advanced Study of the Technical University of Munich - TUM, Munich, Germany, 2014-2017
? SIAM Fellow (for contributions to systems theory, stochastic control and communication networks), 2014
? IEEE Life Fellow, 2013
? Outstanding Invention of the Year Award, University of Maryland (for the invention of "Method and Implementation for Key Generation and Replacement using Markov Models), 2008
? Foreign Member of the Royal Swedish Academy of Engineering Sciences, 2006
O καθηγητής Μπάρας έθετε και θέτει αφιλοκερδώς τη μεγάλη γνώση και μακρόχρονη διεθνή εμπειρία του στη διάθεση του Ε.Μ.Π. Εκτός από τις συχνές επισκέψεις του στη ΣΗΜΜΥ και τα Εργαστήρια μας, έχει προσελκύσει στο University of Maryland - ISR πλειάδα Υποψηφίων Διδακτόρων μας καθώς και Μεταδιδακτορικών συνεργατών μας με στόχο την εξοικείωσή τους σε ερευνητικές πρωτοβουλίες στο πλαίσιο ενός δυναμικού και φιλόξενου Ακαδημαϊκού περιβάλλοντος. Στόχος η σύσφιξη των σχέσεών του με τη ΣΗΜΜΥ του Ε.Μ.Π. και η ολοκλήρωση της εμπειρίας των συνεργατών μας εκτός συνόρων, σε ένα παγκόσμιο κέντρο αριστείας που έχει δημιουργήσει.