[Advcomparch] Ομιλία Ιωάννη Μπάρα, "Νευρομορφική Τεχνητή Νοημοσύνη: Από Μαθηματικά Θεμέλια της Βαθιάς Μάθησης στο«Εγκεφαλικό Φλοιό πάνω σε Τσίπ», Δευτέρα 4/6 και ώρα 17:00 στο ΑΜΦ1.

Sat Jun 2 20:08:34 EEST 2018

Καλησπέρα σας,

Αφορά σε μια πολύ ενδιαφέρουσα ομιλία προς τους φοιτητές της ΣΗΜΜΥ τη
Δευτέρα, από τον Ι. Μπάρα, University of Maryland:

----------------------------------------------------------------------------
----------------------------------------------------------------------------
-------

Ομιλία Ιωάννη Μπάρα, "Νευρομορφική Τεχνητή Νοημοσύνη: Από Μαθηματικά Θεμέλια
της Βαθιάς Μάθησης στο «Εγκεφαλικό Φλοιό πάνω σε Τσίπ», Δευτέρα 4/6 και ώρα
17:00 στο ΑΜΦ1.

Ο καθηγητής στο Πανεπιστήμιο του Maryland και παλαιός απόφοιτος της ΣΗΜΜΥ,
στο πλαίσιο της αναγόρευσής του σε επίτιμο διδάκτορα του ΕΜΠ την ερχόμενη
Τρίτη 5/6, 

θα δώσει ομιλία στους φοιτητές στη Σχολή μας την Δευτέρα 4/6 και ώρα 17:00
στο ΑΜΦ1 στα Νέα κτήρια Ηλεκτρόγων, αμέσως μετά το μάθημα των Λειτουργικών
Συστημάτων.

Η ομιλία συνδυάζει τις σύγχρονες μη παραδοσιακές αρχιτεκτονικές για
προηγμένη μηχανική μάθηση προσομοιώνοντας τη λειτουργία του εγκεφάλου
(Cortex-on-a-Chip).

Με εκτίμηση,

Άρης Κοζύρης

Κοσμήτορας ΣΗΜΜΥ

Τίτλος:

Νευρομορφική Τεχνητή Νοημοσύνη: Από Μαθηματικά Θεμέλια της Βαθιάς Μάθησης
στο

«Εγκεφαλικό Φλοιό πάνω σε Τσίπ»

Neuromorphic Artificial Intelligence: From Mathematical Foundations of Deep
Learning to

"Cortex-on-a-Chip"

Περίληψη

Η βαθιά εκμάθηση και η τεχνητή νοημοσύνη έχουν προσελκύσει τεράστια προσοχή
πρόσφατα. Ο

συναγωνισμός για τον σχεδιασμό και την κατασκευή υπολογιστών τύπου
«εγκεφάλου» είναι σε

εξέλιξη και αρκετές εταιρείες έχουν παραγάγει διάφορα τέτοια ηλεκτρονικά
τσίπς. Ωστόσο, η

τρέχουσα κατάσταση των πραγμάτων είναι πολύ ανεπαρκής και αυθέραιτη.
Περιγράφουμε ένα

μαθηματικό πλαίσιο που αναπτύξαμε που παρέχει μια ιεραρχική αρχιτεκτονική
για μάθηση και

γνώση. Η αρχιτεκτονική συνδυάζει έναν προεπεξεργαστή κυματιδίων, έναν
εξαγωγέα

χαρακτηριστικών που είναι αμετάβλητα σε ομάδα μετασχηματισμών και έναν
ιεραρχικό (με

στρώσεις) αλγόριθμο μάθησης. Υπάρχουν δύο βρόχοι ανάδρασης, από την έξοδο
εκμάθησης στον

εξαγωγέα χαρακτηριστικών και άλλος ένας πίσω στον προεπεξεργαστή κυματιδίων.
Δείχνουμε

ότι το σχήμα μπορεί να ενσωματώσει όλες τις τυπικές μετρικές διαφορές, αλλά
και μη μετρικά

μέτρα ανομοιότητας όπως οι αποκλίσεις Bregman. Η ενότητα μάθησης ενσωματώνει
δύο

καθολικούς αλγορίθμους μάθησης στην ιεραρχική δέντρο-δομημένη μορφή τους,
και οι δύο από

τον Kohonen, Learning Vector Quantization (LVQ) για επιβλεπόμενη μάθηση και
Self-

Organizing Map (SOM) για μή επιβλεπόμενη μάθηση. Επιδεικνύουμε την ανώτερη
απόδοση των

αλγορίθμων και της αρχιτεκτονικής που προκύπτουν σε μια ποικιλία πρακτικών
προβλημάτων,

όπως: αναγνώριση ομιλητή και ήχου, ταυτόχρονη αναγνώριση της κατεύθυνσης του
ήχου και

ταυτότητες ομιλητή και φωνήεντος, αναγνώριση προσώπου. Επιδεικνύουμε πώς
αυτές οι

μαθηματικές βάσεις μπορούν να χρησιμοποιηθούν για την παροχή συστηματικών
μοντέλων

σχεδιασμού, ανάλυσης και αξιολόγησης βαθιών νευρωνικών δικτύων. Περιγράφουμε
τρέχουσα

εργασία και σχέδια για ηλεκτρονικές υλοποιήσεις μικτού σήματος (ψηφιακές και
αναλογικές) που

μιμούνται αρχιτεκτονικά μοντέλα του εγκεφαλικού φλοιού των ζώων υψηλού
επιπέδου και

ανθρώπων, για την αντίληψη καί γνώση ήχου και όρασης. Η προκύπτουσα
αρχιτεκτονική είναι μη

von Neumann (δηλ. υπολογιστής και μνήμη δεν διαχωρίζονται στο ηλεκτρονικό
υλικό) και

νευρομορφική. Ονομάζουμε την κλάση τσίπ που προκύπτει «Εγκεφαλικός Φλοιός
πάνω σε Τσίπ».

Neuromorphic Artificial Intelligence: From Mathematical Foundations of Deep
Learning to

"Cortex-on-a-Chip"

Abstract

Deep Learning and Artificial Intelligence have attracted enormous attention
recently. The race to

design and manufacture "brain-like" computers is on and several companies
have produced

various such chips. Yet, the current state of affairs is very unsatisfactory
and ad hoc. We describe

a mathematical framework we have developed that provides a hierarchical
architecture for learning

and cognition. The architecture combines a wavelet preprocessor, a group
invariant feature

extractor and a hierarchical (layered) learning algorithm. There are two
feedback loops, one back

from the learning output to the feature extractor and one all the way back
to the wavelet

preprocessor. We show that the scheme can incorporate all typical metric
differences but also nonmetric

dissimilarity measures like Bregman divergences. The learning module
incorporates two

universal learning algorithms in their hierarchical tree-structured form,
both due to Kohonen,

Learning Vector Quantization (LVQ) for supervised learning and
Self-Organizing Map (SOM) for

unsupervised learning. We demonstrate the superior performance of the
resulting algorithms and

architecture on a variety of practical problems including: speaker and sound
identification,

simultaneous determination of sound direction of arrival speaker and vowel
ID, face recognition.

We demonstrate how the underlying mathematics can be used to provide
systematic models for

design, analysis and evaluation of deep neural networks. We describe current
work and plans on

mixed signal (digital and analog) micro-electronic implementations that
mimic architectural

abstractions of the cortex of higher-level animals and humans, for sound and
vision perception and

cognition. The resulting architecture is non-von Neumann (i.e. computing and
memory are not

separated in the hardware) and neuromorphic. We call the resulting chip
class "Cortex-on-a-Chip".

ΙΩΑΝΝΗΣ ΜΠΑΡΑΣ (Σύντομο Βιογραφικό, Οκτώβριος 2017)

Ο Γιάννης Μπάρας έλαβε το δίπλωμα Μηχανολόγου - Ηλεκτρολόγου Μηχανικού από
την ενιαία Σχολή Μηχανολόγων - Ηλεκτρολόγων του Ε.Μ.Π. το 1970. Στη διάρκεια
των προπτυχιακών του σπουδών έγινε ιδιαίτερα γνωστός με το βοηθητικό
σύγγραμμά του σε Ηλεκτρομαγνητισμό και Ασύρματες Τηλεπικοινωνίες, χάρις στο
οποίο γενιές παλαιοτέρων συναδέλφων μυήθηκαν στο πεδίο αυτό.

Μετά την αποφοίτησή του συνέχισε μεταπτυχιακές σπουδές στο Harvard σε
Εφαρμοσμένα Μαθηματικά. Έλαβε το Master of Science το 1971 και το Ph.D. το
1973, δύο χρόνια μετά. Έκτοτε ξεκίνησε μια ιδιαίτερα διακεκριμένη πορεία
στις ΗΠΑ με κύρια απασχόληση σαν Καθηγητής στο Τμήμα Ηλεκτρολόγων Μηχ. &
Μηχ. Υπολογιστών στο University of Maryland από το 1973 μέχρι σήμερα. Από το
1990 κατέχει την έδρα Lockheed Martin in Systems Engineering.

Το 1985 ήταν κινητήριος μοχλός για την ίδρυση του ISR (institute for Systems
Research) με έδρα το Πανεπιστήμιο του Maryland. Το ISR ήταν ένα από τα 6
προηγμένα Ερευνητικά Ινστιτούτα που ιδρύθηκαν τότε στις ΗΠΑ με κύρια
χρηματοδότηση από την NSF (National Science Foundation). Ο Γιάννης Μπάρας
υπήρξε Διευθυντής του ISR από την ίδρυσή του μέχρι το 1995. Το 1992 ίδρυσε
το Center for Hybrid and Satellite Communication Networks με κύριο
χρηματοδότη τη NASA. Έχει επιβλέψει περισσότερα από πενήντα διδακτορικά και
έχει πάνω από πεντακόσιες επιστημονικές δημοσιεύσεις με πληθώρα διακρίσεων.
Έχει κατοχυρώσει έντεκα πατέντες, από τις οποίες δυο έλαβαν τη διάκριση
Invention of the Year του Πανεπιστημίου του Maryland. Ο Δρ. Μπάρας είναι
Fellow της IEEE, του SIAM και της AAAS. Το 2006 εκλέχθηκε Foreign Member της
Royal Swedish Academy of Engineering Sciences.

Ανάμεσα στις πρόσφατες διακρίσεις που έχει λάβει, περιλαμβάνονται:

? IEEE Simon Ramo Medal (for exceptional contributions to the conception and
commercialization of internet-over-satellite systems, and for leadership in
model-based engineering, systems science, and engineering research), 2016

? Fellow, International Federation for Automatic Control - IFAC (for
contributions to the theory and applications of stochastic systems and
control and communication networks and for leadership in cross-disciplinary
research and education), 2016

? James Clark School of Engineering Innovation Hall of Fame, University of
Maryland (for his outstanding contributions to Internet over satellite
technology and hybrid networks, which has enabled broadband Internet
services over interoperable satellite and terrestrial networks), 2016

? Fellow, National Academy of Inventors - NAI & Fellow, American Association
for the Advancement of Science - AAAS (for distinguished contributions to
the fields of systems and control, communication networks, network security,
and leadership in establishing outstanding cross disciplinary research and
education programs), 2014

? Hans Fischer Senior Fellowship, Institute for Advanced Study of the
Technical University of Munich - TUM, Munich, Germany, 2014-2017

? SIAM Fellow (for contributions to systems theory, stochastic control and
communication networks), 2014

? IEEE Life Fellow, 2013

? Outstanding Invention of the Year Award, University of Maryland (for the
invention of "Method and Implementation for Key Generation and Replacement
using Markov Models), 2008

? Foreign Member of the Royal Swedish Academy of Engineering Sciences, 2006

O καθηγητής Μπάρας έθετε και θέτει αφιλοκερδώς τη μεγάλη γνώση και
μακρόχρονη διεθνή εμπειρία του στη διάθεση του Ε.Μ.Π. Εκτός από τις συχνές
επισκέψεις του στη ΣΗΜΜΥ και τα Εργαστήρια μας, έχει προσελκύσει στο
University of Maryland - ISR πλειάδα Υποψηφίων Διδακτόρων μας καθώς και
Μεταδιδακτορικών συνεργατών μας με στόχο την εξοικείωσή τους σε ερευνητικές
πρωτοβουλίες στο πλαίσιο ενός δυναμικού και φιλόξενου Ακαδημαϊκού
περιβάλλοντος. Στόχος η σύσφιξη των σχέσεών του με τη ΣΗΜΜΥ του Ε.Μ.Π. και η
ολοκλήρωση της εμπειρίας των συνεργατών μας εκτός συνόρων, σε ένα παγκόσμιο
κέντρο αριστείας που έχει δημιουργήσει.

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.cslab.ece.ntua.gr/pipermail/advcomparch/attachments/20180602/66fce504/attachment-0001.htm>