From nkoziris at cslab.ece.ntua.gr Sat Jun 2 20:08:34 2018 From: nkoziris at cslab.ece.ntua.gr (Nectarios Koziris) Date: Sat, 2 Jun 2018 20:08:34 +0300 Subject: [Advcomparch] =?iso-8859-7?b?z+zp69/hIMn53O3t5yDM8Nzx4SwgIs3l9fHv?= =?iso-8859-7?b?7O/x9unq3iDU5fft5/TeIM3v5+zv8/3t5zogwfD8IMzh6Ofs?= =?iso-8859-7?b?4fTp6twgyOXs3evp4SD05/IgwuHo6dzyIMzc6Ofz5/Ig8/Tv?= =?iso-8859-7?b?q8Xj6uX24evp6vwg1uvv6fwg8Nzt+SDz5SDU89/wuywgxOX1?= =?iso-8859-7?b?9N3x4SA0LzYg6uHpIP7x4SAxNzowMCDz9O8gwczWMS4=?= Message-ID: <00d801d3fa94$56f0c5c0$04d25140$@cslab.ece.ntua.gr> Καλησπέρα σας, Αφορά σε μια πολύ ενδιαφέρουσα ομιλία προς τους φοιτητές της ΣΗΜΜΥ τη Δευτέρα, από τον Ι. Μπάρα, University of Maryland: ---------------------------------------------------------------------------- ---------------------------------------------------------------------------- ------- Ομιλία Ιωάννη Μπάρα, "Νευρομορφική Τεχνητή Νοημοσύνη: Από Μαθηματικά Θεμέλια της Βαθιάς Μάθησης στο «Εγκεφαλικό Φλοιό πάνω σε Τσίπ», Δευτέρα 4/6 και ώρα 17:00 στο ΑΜΦ1. Ο καθηγητής στο Πανεπιστήμιο του Maryland και παλαιός απόφοιτος της ΣΗΜΜΥ, στο πλαίσιο της αναγόρευσής του σε επίτιμο διδάκτορα του ΕΜΠ την ερχόμενη Τρίτη 5/6, θα δώσει ομιλία στους φοιτητές στη Σχολή μας την Δευτέρα 4/6 και ώρα 17:00 στο ΑΜΦ1 στα Νέα κτήρια Ηλεκτρόγων, αμέσως μετά το μάθημα των Λειτουργικών Συστημάτων. Η ομιλία συνδυάζει τις σύγχρονες μη παραδοσιακές αρχιτεκτονικές για προηγμένη μηχανική μάθηση προσομοιώνοντας τη λειτουργία του εγκεφάλου (Cortex-on-a-Chip). Με εκτίμηση, Άρης Κοζύρης Κοσμήτορας ΣΗΜΜΥ Τίτλος: Νευρομορφική Τεχνητή Νοημοσύνη: Από Μαθηματικά Θεμέλια της Βαθιάς Μάθησης στο «Εγκεφαλικό Φλοιό πάνω σε Τσίπ» Neuromorphic Artificial Intelligence: From Mathematical Foundations of Deep Learning to "Cortex-on-a-Chip" Περίληψη Η βαθιά εκμάθηση και η τεχνητή νοημοσύνη έχουν προσελκύσει τεράστια προσοχή πρόσφατα. Ο συναγωνισμός για τον σχεδιασμό και την κατασκευή υπολογιστών τύπου «εγκεφάλου» είναι σε εξέλιξη και αρκετές εταιρείες έχουν παραγάγει διάφορα τέτοια ηλεκτρονικά τσίπς. Ωστόσο, η τρέχουσα κατάσταση των πραγμάτων είναι πολύ ανεπαρκής και αυθέραιτη. Περιγράφουμε ένα μαθηματικό πλαίσιο που αναπτύξαμε που παρέχει μια ιεραρχική αρχιτεκτονική για μάθηση και γνώση. Η αρχιτεκτονική συνδυάζει έναν προεπεξεργαστή κυματιδίων, έναν εξαγωγέα χαρακτηριστικών που είναι αμετάβλητα σε ομάδα μετασχηματισμών και έναν ιεραρχικό (με στρώσεις) αλγόριθμο μάθησης. Υπάρχουν δύο βρόχοι ανάδρασης, από την έξοδο εκμάθησης στον εξαγωγέα χαρακτηριστικών και άλλος ένας πίσω στον προεπεξεργαστή κυματιδίων. Δείχνουμε ότι το σχήμα μπορεί να ενσωματώσει όλες τις τυπικές μετρικές διαφορές, αλλά και μη μετρικά μέτρα ανομοιότητας όπως οι αποκλίσεις Bregman. Η ενότητα μάθησης ενσωματώνει δύο καθολικούς αλγορίθμους μάθησης στην ιεραρχική δέντρο-δομημένη μορφή τους, και οι δύο από τον Kohonen, Learning Vector Quantization (LVQ) για επιβλεπόμενη μάθηση και Self- Organizing Map (SOM) για μή επιβλεπόμενη μάθηση. Επιδεικνύουμε την ανώτερη απόδοση των αλγορίθμων και της αρχιτεκτονικής που προκύπτουν σε μια ποικιλία πρακτικών προβλημάτων, όπως: αναγνώριση ομιλητή και ήχου, ταυτόχρονη αναγνώριση της κατεύθυνσης του ήχου και ταυτότητες ομιλητή και φωνήεντος, αναγνώριση προσώπου. Επιδεικνύουμε πώς αυτές οι μαθηματικές βάσεις μπορούν να χρησιμοποιηθούν για την παροχή συστηματικών μοντέλων σχεδιασμού, ανάλυσης και αξιολόγησης βαθιών νευρωνικών δικτύων. Περιγράφουμε τρέχουσα εργασία και σχέδια για ηλεκτρονικές υλοποιήσεις μικτού σήματος (ψηφιακές και αναλογικές) που μιμούνται αρχιτεκτονικά μοντέλα του εγκεφαλικού φλοιού των ζώων υψηλού επιπέδου και ανθρώπων, για την αντίληψη καί γνώση ήχου και όρασης. Η προκύπτουσα αρχιτεκτονική είναι μη von Neumann (δηλ. υπολογιστής και μνήμη δεν διαχωρίζονται στο ηλεκτρονικό υλικό) και νευρομορφική. Ονομάζουμε την κλάση τσίπ που προκύπτει «Εγκεφαλικός Φλοιός πάνω σε Τσίπ». Neuromorphic Artificial Intelligence: From Mathematical Foundations of Deep Learning to "Cortex-on-a-Chip" Abstract Deep Learning and Artificial Intelligence have attracted enormous attention recently. The race to design and manufacture "brain-like" computers is on and several companies have produced various such chips. Yet, the current state of affairs is very unsatisfactory and ad hoc. We describe a mathematical framework we have developed that provides a hierarchical architecture for learning and cognition. The architecture combines a wavelet preprocessor, a group invariant feature extractor and a hierarchical (layered) learning algorithm. There are two feedback loops, one back from the learning output to the feature extractor and one all the way back to the wavelet preprocessor. We show that the scheme can incorporate all typical metric differences but also nonmetric dissimilarity measures like Bregman divergences. The learning module incorporates two universal learning algorithms in their hierarchical tree-structured form, both due to Kohonen, Learning Vector Quantization (LVQ) for supervised learning and Self-Organizing Map (SOM) for unsupervised learning. We demonstrate the superior performance of the resulting algorithms and architecture on a variety of practical problems including: speaker and sound identification, simultaneous determination of sound direction of arrival speaker and vowel ID, face recognition. We demonstrate how the underlying mathematics can be used to provide systematic models for design, analysis and evaluation of deep neural networks. We describe current work and plans on mixed signal (digital and analog) micro-electronic implementations that mimic architectural abstractions of the cortex of higher-level animals and humans, for sound and vision perception and cognition. The resulting architecture is non-von Neumann (i.e. computing and memory are not separated in the hardware) and neuromorphic. We call the resulting chip class "Cortex-on-a-Chip". ΙΩΑΝΝΗΣ ΜΠΑΡΑΣ (Σύντομο Βιογραφικό, Οκτώβριος 2017) Ο Γιάννης Μπάρας έλαβε το δίπλωμα Μηχανολόγου - Ηλεκτρολόγου Μηχανικού από την ενιαία Σχολή Μηχανολόγων - Ηλεκτρολόγων του Ε.Μ.Π. το 1970. Στη διάρκεια των προπτυχιακών του σπουδών έγινε ιδιαίτερα γνωστός με το βοηθητικό σύγγραμμά του σε Ηλεκτρομαγνητισμό και Ασύρματες Τηλεπικοινωνίες, χάρις στο οποίο γενιές παλαιοτέρων συναδέλφων μυήθηκαν στο πεδίο αυτό. Μετά την αποφοίτησή του συνέχισε μεταπτυχιακές σπουδές στο Harvard σε Εφαρμοσμένα Μαθηματικά. Έλαβε το Master of Science το 1971 και το Ph.D. το 1973, δύο χρόνια μετά. Έκτοτε ξεκίνησε μια ιδιαίτερα διακεκριμένη πορεία στις ΗΠΑ με κύρια απασχόληση σαν Καθηγητής στο Τμήμα Ηλεκτρολόγων Μηχ. & Μηχ. Υπολογιστών στο University of Maryland από το 1973 μέχρι σήμερα. Από το 1990 κατέχει την έδρα Lockheed Martin in Systems Engineering. Το 1985 ήταν κινητήριος μοχλός για την ίδρυση του ISR (institute for Systems Research) με έδρα το Πανεπιστήμιο του Maryland. Το ISR ήταν ένα από τα 6 προηγμένα Ερευνητικά Ινστιτούτα που ιδρύθηκαν τότε στις ΗΠΑ με κύρια χρηματοδότηση από την NSF (National Science Foundation). Ο Γιάννης Μπάρας υπήρξε Διευθυντής του ISR από την ίδρυσή του μέχρι το 1995. Το 1992 ίδρυσε το Center for Hybrid and Satellite Communication Networks με κύριο χρηματοδότη τη NASA. Έχει επιβλέψει περισσότερα από πενήντα διδακτορικά και έχει πάνω από πεντακόσιες επιστημονικές δημοσιεύσεις με πληθώρα διακρίσεων. Έχει κατοχυρώσει έντεκα πατέντες, από τις οποίες δυο έλαβαν τη διάκριση Invention of the Year του Πανεπιστημίου του Maryland. Ο Δρ. Μπάρας είναι Fellow της IEEE, του SIAM και της AAAS. Το 2006 εκλέχθηκε Foreign Member της Royal Swedish Academy of Engineering Sciences. Ανάμεσα στις πρόσφατες διακρίσεις που έχει λάβει, περιλαμβάνονται: ? IEEE Simon Ramo Medal (for exceptional contributions to the conception and commercialization of internet-over-satellite systems, and for leadership in model-based engineering, systems science, and engineering research), 2016 ? Fellow, International Federation for Automatic Control - IFAC (for contributions to the theory and applications of stochastic systems and control and communication networks and for leadership in cross-disciplinary research and education), 2016 ? James Clark School of Engineering Innovation Hall of Fame, University of Maryland (for his outstanding contributions to Internet over satellite technology and hybrid networks, which has enabled broadband Internet services over interoperable satellite and terrestrial networks), 2016 ? Fellow, National Academy of Inventors - NAI & Fellow, American Association for the Advancement of Science - AAAS (for distinguished contributions to the fields of systems and control, communication networks, network security, and leadership in establishing outstanding cross disciplinary research and education programs), 2014 ? Hans Fischer Senior Fellowship, Institute for Advanced Study of the Technical University of Munich - TUM, Munich, Germany, 2014-2017 ? SIAM Fellow (for contributions to systems theory, stochastic control and communication networks), 2014 ? IEEE Life Fellow, 2013 ? Outstanding Invention of the Year Award, University of Maryland (for the invention of "Method and Implementation for Key Generation and Replacement using Markov Models), 2008 ? Foreign Member of the Royal Swedish Academy of Engineering Sciences, 2006 O καθηγητής Μπάρας έθετε και θέτει αφιλοκερδώς τη μεγάλη γνώση και μακρόχρονη διεθνή εμπειρία του στη διάθεση του Ε.Μ.Π. Εκτός από τις συχνές επισκέψεις του στη ΣΗΜΜΥ και τα Εργαστήρια μας, έχει προσελκύσει στο University of Maryland - ISR πλειάδα Υποψηφίων Διδακτόρων μας καθώς και Μεταδιδακτορικών συνεργατών μας με στόχο την εξοικείωσή τους σε ερευνητικές πρωτοβουλίες στο πλαίσιο ενός δυναμικού και φιλόξενου Ακαδημαϊκού περιβάλλοντος. Στόχος η σύσφιξη των σχέσεών του με τη ΣΗΜΜΥ του Ε.Μ.Π. και η ολοκλήρωση της εμπειρίας των συνεργατών μας εκτός συνόρων, σε ένα παγκόσμιο κέντρο αριστείας που έχει δημιουργήσει. -------------- next part -------------- An HTML attachment was scrubbed... URL: From el14169 at central.ntua.gr Tue Jun 26 23:36:51 2018 From: el14169 at central.ntua.gr (Alkiviadis Mertzios) Date: Tue, 26 Jun 2018 20:36:51 +0000 Subject: [Advcomparch] =?utf-8?b?zqPPhs6szrvOvM6xIM+Dz4TOtyDOtc66z4TOrc67?= =?utf-8?b?zrXPg863IM+Ezr/PhSBTbmlwZXI=?= Message-ID: <31af0b3e79d0da658b184d72e7bc115b@webmail.central.ntua.gr> Καλησπέρα, Προσπαθώντας να τρέξω ένα configuration (1,1) του Sniper με την εντολη /home/alkiviadis/Desktop/sniper-6.1/run-sniper -c /home/alkiviadis/Desktop/advanced-ca-Spring-2018-ask4-helpcode/ask4.cfg -n 1 --roi -g --perf_model/l2_cache/shared_cores=4 -g --perf_model/l3_cache/shared_cores=8 -- /home/alkiviadis/Desktop/advanced-ca-Spring-2018-ask4-helpcode/locks 1 1000 1 λαμβάνω το εξής: [SNIPER] Start A: Source/pin/injector_nonmac/auxvector.cpp: CopyAux: 291: unexpected AUX VEC type 26 ################################################################################ ## STACK TRACE ################################################################################ addr2line -C -f -e "/home/alkiviadis/Desktop/CA3/pin-2.14-71313-gcc.4.4.7-linux/intel64/bin/pinbin" 0x560a94fd97f9 0x560a94fda5ce 0x560a94fda8a0 0x560a951fcb3c 0x560a952022ff 0x560a95203e2d 0x560a951f3fe1 0x560a951f8b2d 0x560a951e922e 0x560a951f3230 0x7f15fc292830 0x560a94fce17a ?? ??:0 ?? ??:0 ?? ??:0 ?? ??:0 ?? ??:0 ?? ??:0 ?? ??:0 ?? ??:0 ?? ??:0 ?? ??:0 ?? ??:0 ?? ??:0 Detach Service Count: 1 Pin 2.14 Copyright (c) 2003-2015, Intel Corporation. All rights reserved. @CHARM-VERSION: $Rev: 71293 $ @CHARM-BUILDER: BUILDER @CHARM-COMPILER: gcc 4.4.7 @CHARM-TARGET: ia32e @CHARM-CFLAGS: __OPTIMIZE__=1 __NO_INLINE__=__NO_INLINE__ [SNIPER] End [SNIPER] Elapsed time: 0.14 seconds Είχα δει ένα παρόμοιο μήνυμα λάθους στην άσκηση 3 παρόλα αυτά η προσθήκη του -ifeellucky στη γραμμη 148 του record-trace δε το διόρθωσε. Το sniper έχει μετταγλωτιστεί με την εντολη make CC=gcc-4.8 CXX=g++-4.8 και η έκδοση του pin είναι η 2.14 ιδια με αυτή της τρίτης άσκησης. Ευχαριστώ εκ των προτέρων, Αλκιβιάδης Μέρτζιος -------------- next part -------------- An HTML attachment was scrubbed... URL: From jimsiak at cslab.ece.ntua.gr Wed Jun 27 01:30:24 2018 From: jimsiak at cslab.ece.ntua.gr (Dimitrios Siakavaras) Date: Wed, 27 Jun 2018 01:30:24 +0300 (EEST) Subject: [Advcomparch] =?iso-8859-7?b?0/bc6+zhIPP05yDl6vTd6+Xz5yD07/UgU25p?= =?iso-8859-7?q?per?= In-Reply-To: <31af0b3e79d0da658b184d72e7bc115b@webmail.central.ntua.gr> References: <31af0b3e79d0da658b184d72e7bc115b@webmail.central.ntua.gr> Message-ID: <7147ada9dfd097e05e261b1b82617167.squirrel@webmail.cslab.ece.ntua.gr> Καλησπέρα, Το πρόβλημα έχει να κάνει και πάλι με το flag -ifeellucky Το θέμα είναι ότι όταν ο sniper καλείται να εκτελέσει ένα εκτελέσιμο (και όχι pinballs όπως στην 3η άσκηση) δεν χρησιμοποιεί το record-trace αρχείο οπότε δεν βλέπει την προσθήκη του -ifeellucky flag εκεί. Για να μπορέσεις να τρέξεις το sniper χωρίς πρόβλημα μπορείς να προσθέσεις τη γραμμή pinoptions += ' -ifeellucky' πάνω από τη γραμμή 680 του αρχείου /path/to/sniper-6.1/run-sniper Δ. > Καλησπέρα, > > Προσπαθώντας να τρέξω ένα configuration (1,1) του Sniper με την εντολη > > /home/alkiviadis/Desktop/sniper-6.1/run-sniper -c > /home/alkiviadis/Desktop/advanced-ca-Spring-2018-ask4-helpcode/ask4.cfg -n > 1 --roi -g --perf_model/l2_cache/shared_cores=4 -g > --perf_model/l3_cache/shared_cores=8 -- > /home/alkiviadis/Desktop/advanced-ca-Spring-2018-ask4-helpcode/locks 1 > 1000 1 > > λαμβάνω το εξής: > > [SNIPER] Start > A: Source/pin/injector_nonmac/auxvector.cpp: CopyAux: 291: unexpected AUX > VEC type 26 > > ################################################################################ > ## STACK TRACE > ################################################################################ > addr2line -C -f -e > "/home/alkiviadis/Desktop/CA3/pin-2.14-71313-gcc.4.4.7-linux/intel64/bin/pinbin" > 0x560a94fd97f9 0x560a94fda5ce 0x560a94fda8a0 0x560a951fcb3c 0x560a952022ff > 0x560a95203e2d 0x560a951f3fe1 0x560a951f8b2d 0x560a951e922e 0x560a951f3230 > 0x7f15fc292830 0x560a94fce17a > ?? > ??:0 > ?? > ??:0 > ?? > ??:0 > ?? > ??:0 > ?? > ??:0 > ?? > ??:0 > ?? > ??:0 > ?? > ??:0 > ?? > ??:0 > ?? > ??:0 > ?? > ??:0 > ?? > ??:0 > Detach Service Count: 1 > Pin 2.14 > Copyright (c) 2003-2015, Intel Corporation. All rights reserved. > @CHARM-VERSION: $Rev: 71293 $ > @CHARM-BUILDER: BUILDER > @CHARM-COMPILER: gcc 4.4.7 > @CHARM-TARGET: ia32e > @CHARM-CFLAGS: __OPTIMIZE__=1 __NO_INLINE__=__NO_INLINE__ > [SNIPER] End > [SNIPER] Elapsed time: 0.14 seconds > > Είχα δει ένα παρόμοιο μήνυμα λάθους στην άσκηση 3 παρόλα αυτά η προσθήκη > του -ifeellucky στη γραμμη 148 του record-trace δε το διόρθωσε. > > Το sniper έχει μετταγλωτιστεί με την εντολη make CC=gcc-4.8 CXX=g++-4.8 > και η έκδοση του pin είναι η 2.14 ιδια με αυτή της τρίτης άσκησης. > > Ευχαριστώ εκ των προτέρων, > Αλκιβιάδης Μέρτζιος > _______________________________________________ > Advcomparch mailing list > Advcomparch at lists.cslab.ece.ntua.gr > http://lists.cslab.ece.ntua.gr/mailman/listinfo/advcomparch > -- Dimitrios D. Siakavaras PhD Candidate Computing Systems Laboratory, School of ECE National Technical University of Athens, Greece E-mail: jimsiak at cslab.ece.ntua.gr From j.ason_96 at hotmail.com Sat Jun 30 17:21:00 2018 From: j.ason_96 at hotmail.com (Iasonas Marmanis) Date: Sat, 30 Jun 2018 14:21:00 +0000 Subject: [Advcomparch] =?iso-8859-7?b?tvPq5/PnNC3B8O/x3+Eg4+nhIPTvIHNpbS5v?= =?iso-8859-7?q?ut?= Message-ID: Καλησπέρα, θα ήθελα να ρωτήσω κάτι για την 4η άσκηση, συγκεκριμένα για την 3.1.1: Αφού έτρεξα όλους τους συνδιασμούς με το sniper, βλέπω από τα αρχεία sim.out πως για όλα τα Cores, η τιμή Cycles ταυτίζεται (δηλαδή σε κάθε αρχείο ξεχωριστά και τα n πεδία έχουν την ίδια τιμή). Αυτή η τιμή αφορά τον χρόνο που πήρε στο thread_0 να εκτελεστεί (αφού βλέπω πως μόνο αυτό είναι στην ROI και καταγράφει) ή είναι ο συνολικός χρόνος που χρησιμοποιήθηκε η CPU από όλα τα threads (δηλαδή n * το προηγούμενο, αν έχω n cores) ; Ρωτάω επειδή παρατηρώ πως με την αύξηση των cores αυτή η τιμή αυξάνεται παραπάνω από γραμμικά (δηλαδή για n threads είναι παραπάνω από n * την τιμή για 1 thread), το οποίο δεν μου φαίνεται λογικό αν η τιμή αφορά τον χρόνο του ενός thread μόνο. Ευχαριστώ εκ των προτέρων. -------------- next part -------------- An HTML attachment was scrubbed... URL: