- parml - example.com

Βαθμολογία μαθήματος
by Nikela Papadopoulou 09 Nov '20

09 Nov '20

Καλησπέρα, Ελπίζω να είστε όλοι καλά! Μπορείτε να βρείτε παρακάτω τη βαθμολογία σας για το μάθημα. Καλή συνέχεια, Νικέλα Α.Μ. Τελικός βαθμός 3002687 10 3002596 10 3002964 10 3002920 10 3002910 10 3002968 10 3002978 10 3002927 10 3002951 10 3400042 10 3400045 9 3400046 10 3400047 10 3400048 10 3400049 9 3400050 10 3400054 10 3400056 9 3400052 9 3400059 10 3400061 10 3400062 10 3400063 9 3400064 9 3400043 10 3400065 10 3400026 10 3400069 10 3400070 10 3400071 9 3400074 10 3400075 9 3400076 10 3400078 10 3400079 10 3400080 10 3400081 10

1 0

Fwd: ParML exercise
by Dimitrios Soudris 10 Sep '20

10 Sep '20

Hi All Here is the semester exercise for the ParML. It is a REAL exercise, meaning that the need to search and identify other possible accelerators and make a techno-economic analysis of the best system (Performance and Performance/Cost) I think this will help them search and also experiment with other accelerators/GPUs Deadline Sept. 15, 2020. Kind regards, Dimitrios -- ============================ Professor Dimitrios Soudris National Technical University of Athens (NTUA) School of Electrical & Computer Engineering Department of Computer Science 9 Heroon Polytechneiou, Zographou Campus 157 80 Athens - Greece Tel: (+30) 210 7724270 Lab: (+30) 210 772-3653, -1800 Fax: (+30) 210 772 4305 e-mail: dsoudris(a)microlab.ntua.gr, dimitrios.soudris(a)gmail.com https://microlab.ntua.gr/academics/dimitrios-soudris/

1 1

Πρόγραμμα προφορικών εξετάσεων για τη Δευτέρα 13/7
by Nikela Papadopoulou 10 Jul '20

10 Jul '20

Καλησπέρα, Με βάση το doodle, το πρόγραμμα για τη Δευτέρα ορίζεται ως εξής: *13/7**/2020 * *Slot A** * *Slot B* *10:00-11:00* parml02 parml06 *11:00-12:00* parml07 parml04 *14:00-15:00* parml08 parml05 *15:00-16:00* parml01 parml03 Μερικές επιπλέον διευκρινίσεις, με αφορμή την επικοινωνία με συναδέλφους: - Η εξέταση αφορά *και τα δύο μέρη* του μαθήματος, δηλαδή τόσο το κομμάτι που διδάχθηκε από το Εργαστήριο Υπολογιστικών Συστημάτων, όσο και το κομμάτι που διδάχθηκε από το Εργαστήριο Μικροϋπολογιστών. - Σχετικά με την εργασία στην Επιτάχυνση εκπαίδευσης νευρωνικού δικτύου σε αρχιτεκτονικές κοινής μνήμης με OpenMP και CUDA, υπενθυμίζω ότι πρέπει να την παραδώσετε πριν την εξέταση, δηλαδή μέχρι και το πρωί της 13/7. Ενημερώνω επίσης ότι το termi1 είναι up και μπορείτε να πάρετε μετρήσεις απρόσκοπτα. - Υπενθυμίζω ότι πρέπει να εγγραφείτε άμεσα (μέχρι αύριο Τρίτη 7/7) στο team του μαθήματος, στον παρακάτω σύνδεσμο: https://teams.microsoft.com/l/team/19%3adc7c5acd87e34348922407160c6c93a4%40…. Αν αντιμετωπίζετε προβλήματα με την εγγραφή σας, ενημερώστε με mail ή στο slack. Καλή συνέχεια, Νικέλα -- Nikela Papadopoulou Post-doctoral Researcher Computing Systems Laboratory, School of ECE National Technical University of Athens tel: +30-2107722279

1 1

Σχετικά με την εξέταση του μαθήματος
by Nikela Papadopoulou 03 Jul '20

03 Jul '20

Καλησπέρα, Ακολουθούν διευκρινίσεις σε σχέση με την εξέταση και το σχήμα βαθμολογίας του μαθήματος: - Η εξέταση του μαθήματος θα είναι προφορική και θα πραγματοποιηθεί απομακρυσμένα. - Η εξέταση θα πραγματοποιηθεί στις 13 Ιουλίου, όπως ορίστηκε στο πρόγραμμα της εξεταστικής. - Η εξέταση θα γίνει ανά ομάδα, όπως αυτές έχουν καθοριστεί στη διάρκεια του εξαμήνου και για τις ανάγκες των εργασιών. Κάθε ομάδα θα εξεταστεί σε διαφορετικό χρονικό παράθυρo. Θα ακολουθήσουν αναλυτικό πρόγραμμα και οδηγίες σύνδεσης, τις επόμενες ημέρες. - Το σχήμα της βαθμολογίας του μαθήματος ορίζεται ως εξής: η προφορική εξέταση αντιστοιχεί στο 30%, οι εργασίες του Εργαστηρίου Υπολογιστικών Συστημάτων αντιστοιχούν στο 35% και οι εργασίες του Εργαστηρίου Μικροϋπολογιστών και Ψηφιακών Συστημάτων VLSI στο 35%. - Η εξεταστέα ύλη περιλαμβάνει ό,τι έχει παρουσιαστεί στο μάθημα (διαφάνειες) και στο εργαστήριο, καθώς και ό,τι αφορά στις εργαστηριακές ασκήσεις. Μη διστάσετε να επικοινωνήσετε για οποιαδήποτε διευκρίνιση. Χαιρετισμούς, Νικέλα

1 1

Υποστηρικτικό υλικό για την ύλη του μαθήματος
by Nikela Papadopoulou 19 Jun '20

19 Jun '20

Καλησπέρα ξανά, Για τις ενότητες που καλύφθηκαν στο μάθημα από το Εργαστήριο Υπολογιστικών Συστημάτων (δείτε και τις σχετικές διαφάνειες), ακολουθεί υποστηρικτικό υλικό για κάθε ενότητα που μπορεί να βοηθήσει τη μελέτη σας. Διευκρινίζουμε ότι το υλικό είναι αρκετά ευρύ, δεν ανήκει στην εξεταστέα ύλη, αλλά δίνεται για να περιγράψει την ευρύτερη περιβάλλουσα κάθε ενότητας. Εισαγωγή [1, 5] Παράλληλοι υπολογισμοί σε αρχιτεκτονικές κοινής μνήμης [1] Παράλληλος προγραμματισμός σε αρχιτεκτονικές κοινής μνήμης: OpenMP [1] Παράλληλοι υπολογισμοί με επιταχυντές [1] Παράλληλος προγραμματισμός σε επεξεργαστές γραφικών: CUDA [1] Μηχανική μάθηση, αρχιτεκτονικές και επίδοση [2, 3] Παράλληλη και κατανεμημένη εκπαίδευση βαθιών νευρωνικών δικτύων [4] Μη διστάσετε να επικοινωνήσετε για απορίες. Καλή συνέχεια, Νικέλα Υποστηρικτική Βιβλιογραφία [1] Parallel Computing for Data Science with examples in R, C++, CUDA, Norman Matloff, Chapman and Hall/CRC, 2015 [2] Williams, Samuel, Andrew Waterman, and David Patterson. Roofline: An insightful visual performance model for floating-point programs and multicore architectures. No. LBNL-2141E. Lawrence Berkeley National Lab.(LBNL), Berkeley, CA (United States), 2009. [3] Shi, Shaohuai, et al. "Benchmarking state-of-the-art deep learning software tools." 2016 7th International Conference on Cloud Computing and Big Data (CCBD). IEEE, 2016. [4] Ben-Nun, Tal, and Torsten Hoefler. "Demystifying parallel and distributed deep learning: An in-depth concurrency analysis." arXiv preprint arXiv:1802.09941 (2018). [5] Reagen, Brandon, et al. "Deep learning for computer architects." Synthesis Lectures on Computer Architecture 12.4 (2017): 1-123. [6] Hazelwood, Kim, et al. "Applied machine learning at facebook: A datacenter infrastructure perspective." 2018 IEEE International Symposium on High Performance Computer Architecture (HPCA). IEEE, 2018.

1 0

Παράδοση εργασιών
by Nikela Papadopoulou 31 May '20

31 May '20

Καλησπέρα, Στην αρχική σελίδα του μαθήματος (cslab.ece.ntua.gr/courses/parml <http://cslab.ece.ntua.gr/courses/parml>) θα βρείτε πληροφορίες για την παράδοση των εργασιών. Συγκεκριμένα: - Για την εργασία που αφορά σε αρχιτεκτονικές κοινής μνήμης με OpenMP και CUDA, στέλνετε τις αναφορές σας με mail στα nikela(a)cslab.ece.ntua.gr <mailto:nikela@cslab.ece.ntua.gr> και athena(a)cslab.ece.ntua.gr <mailto:athena@cslab.ece.ntua.gr>. - Για τις εργασίες που αφορούν σε FPGA/ML accelerators, στέλεντε τις εργασίες σας με mail στα dsoudris(a)microlab.ntua.gr <mailto:dsoudris@microlab.ntua.gr> και kachris(a)microlab.ntua.gr <mailto:kachris@microlab.ntua.gr>. Καλή συνέχεια, Ν.

1 0

Οδηγίες σύνδεσης στο σημερινό μάθημα
by Nikela Papadopoulou 07 May '20

07 May '20

Καλησπέρα, Το σημερινό μάθημα (14:30 - 17:00) θα πραγματοποιηθεί με τηλεδιάσκεψη. Η σύνδεση θα γίνει με την πλατφόρμα GoToMeeting (https://www.gotomeeting.com <https://www.gotomeeting.com/>). Για να συνδεθείτε, χρησιμοποιήστε τον ακόλουθο σύνδεσμο: ParML Thu, May 7, 2020 2:30 PM - 5:00 PM (EEST) Please join my meeting from your computer, tablet or smartphone. https://global.gotomeeting.com/join/231998141 <https://global.gotomeeting.com/join/231998141> Τα λέμε σε λίγο, Νικέλα

1 0

Οδηγίες σύνδεσης για το σημερινό μάθημα
by Nikela Papadopoulou 30 Apr '20

30 Apr '20

Καλησπέρα, Στο σημερινό μάθημα, θα παρουσιάσουμε την εργασία του μαθήματος για παράλληλο προγραμματισμό σε CPUs και GPUs και θα συνεχίσουμε με θεωρία. Κατά τα γνωστά, θα πραγματοποιηθεί με τηλεδιάσκεψη. Η σύνδεση θα γίνει με την πλατφόρμα GoToMeeting (https://www.gotomeeting.com <https://www.gotomeeting.com/>). Για να συνδεθείτε, χρησιμοποιήστε τον ακόλουθο σύνδεσμο: ParML Thu, Apr 30, 2020 2:30 PM - 5:00 PM (EEST) Please join my meeting from your computer, tablet or smartphone. https://global.gotomeeting.com/join/231998141 <https://global.gotomeeting.com/join/231998141> Τα λέμε σε λίγο, Νικέλα

1 0

Σχετικά με το αυριανό μάθημα (8/4/2020)
by Nikela Papadopoulou 08 Apr '20

08 Apr '20

Καλησπέρα, Το αυριανό μάθημα θα είναι ξανά μάθημα θεωρίας και θα πραγματοποιηθεί με τηλεδιάσκεψη, στις προγραμματισμένες ώρες μαθήματος, 14:30 - 17:00. Η σύνδεση θα γίνει με την πλατφόρμα GoToMeeting (https://www.gotomeeting.com <https://www.gotomeeting.com/>). Για να συνδεθείτε, χρησιμοποιήστε τον ακόλουθο σύνδεσμο: ParML Thu, Mar 26, 2020 2:30 PM - 5:00 PM (EEST) Please join my meeting from your computer, tablet or smartphone. https://global.gotomeeting.com/join/231998141 <https://global.gotomeeting.com/join/231998141> Χαιρετισμούς, Νικέλα

1 0

Σχετικά με την πρώτη εργαστηριακή άσκηση και το αυριανό μάθημα
by Nikela Papadopoulou 02 Apr '20

02 Apr '20

Καλησπέρα, Σχετικά με το αυριανό μάθημα: Όπως είπαμε, το αυριανό μάθημα θα πραγματοποιηθεί με τηλεδιάσκεψη. Θα σχολιάσουμε ό,τι άπτεται της πρώτης εργαστηριακής άσκησης και θα προχωρήσουμε στη θεωρία. Η σύνδεση θα γινει με την πλατφόρμα GotoMeeting (https://www.gotomeeting.com <https://www.gotomeeting.com/>). Υπάρχει client για windows και εφαρμογή για κινητό, παίζει και με αρκετά configurations και σε linux. Παρακαλώ πολύ κάντε την προετοιμασία (εγκατάσταση κλπ) εγκαίρως. ParML Thu, Mar 26, 2020 2:30 PM - 5:00 PM (EET) Please join my meeting from your computer, tablet or smartphone. https://global.gotomeeting.com/join/599634085 <https://global.gotomeeting.com/join/599634085> Σχετικά με την πρώτη εργαστηριακή άσκηση: Φαίνεται να υπάρχει κάποιο πρόβλημα στην ουρά, και ως αποτέλεσμα, κάποιες φορές ίσως προσπαθείτε να εκτελέσετε κάποιο job αλλά σας επιστρέφονται κενά τα σχετικά output files. Για να το παρακάμψουμε προσωρινά, μπορείτε να χρησιμοποιήσετε το interactive mode του Torque, με το οποίο, χρησιμοποιώντας τον Torque, αποκτάτε απευθείας πρόσβαση στους πόρους που ζητάτε. Ένα παράδειγμα έχει ως εξής: - Είμαι ο χρήστης nikela, έχω συνδεθεί στον scirouter, έχω αντιγράψει τα αρχεία της άσκησης στο φάκελο /home/users/nikela/mnist (ή αλλιώς ${ΗΟΜΕ}/mnist) και θέλω να τρέξω το script που περιγράφεται στο 2ο ερώτημα του 2.1, δηλαδή το run_all_parallel_torque.sh. - Αν το τρέξω με τον τρόπο που περιγράψαμε στο εργαστήριο, δηλαδή υποβάλοντάς το στην ουρά με batch mode, θα κάνω το εξής: nikela@scirouter$ qsub -q parlab -l nodes=1:ppn=8:highmem run_all_parallel_torque.sh Με το όρισμα nodes=1:ppn=8 ζητάω από τον Torque να μου δεσμέυσει ένα node με 8 πυρήνες, να εκτελέσει το script run_all_parallel_torque.sh και να μου επιστρέψει το output και το error στα αρχεία mnist_run_all_parallel_torque.out και mnist_run_all_parallel_torque.err. - Εναλλακτικά, μπορώ να ζητήσω interactive πρόσβαση σε ένα node με 8 πυρήνες της ουράς parlab ως εξής: nikela@scirouter$ qsub -q parlab -l nodes=1:ppn=8:highmem -I O Torque θα μου επιστρέψει κάτι σαν το παρακάτω: qsub: waiting for job 428991.localhost to start qsub: job 428991.localhost ready nikela@clone1$ Πλέον έχω συνδεθεί σε κάποιο clone (στην προκείμενη περίπτωση, στο clone1) και μπορώ να εκτελέσω απευθείας τα scripts μου: nikela@clone1$ cd ${HOME}/mnist nikela@clone1$ ./run_all_parallel_torque.sh Σημείωση: Όλες οι γραμμές του script που ξεκινούν με #PBS και απευθύνονται στον Torque, αγνοούνται. Προσοχή: Τα αποτελέσματα (output και error) εκτυπώνονται στο stdout/stderr, δηλαδή στην οθόνη και όχι σε κάποιο αρχείο. Αν θέλετε να τα αποθηκεύσετε στα αρχεία mnist_run_all_parallel_torque.out και mnist_run_all_parallel_torque.err όπως πριν, μπορείτε ως εξής: nikela@clone1$ ./run_all_parallel_torque.sh >mnist_run_all_parallel_torque.out 2>mnist_run_all_parallel_torque.err Όταν ολοκληρώσετε την εκτέλεσή σας, μπορείτε να απελευθερώσετε τον κόμβο με την εντολή exit: nikela@clone1$ exit logout qsub: job 428991.localhost completed nikela@scirouter:~$ Αν έχετε απορίες σχετικά με τα παραπάνω, τις συζητάμε στο slack στο channel #lab1. Καλή συνέχεια, Νικέλα

1 2

2026

2025

2024

2023

2022

2021

2020

2019

parml