Γειά σου Γιώργο,
κατά την ώρα που "κολλάει" το Map Reduce job, τι log παίρνεις; Από ότι φαίνεται από το output που επισυνάπτεις, το job έχει γίνει spawn (το RunJar είναι το binary που σηκώνεται και τρέχει το Jar σου και ο MRAppMaster είναι ο Application Master) αλλά δεν έχει γίνει spawn κάποιο container που θα τρέξει το actual job. Υπάρχει αρκετή διαθέσιμη μνήμη για να σηκωθεί ο container; Το UI του YARN σου δίνει κάποια παραπάνω πληροφορία;
Δες τα logs του NodeManager (που είναι ο υπεύθυνος να σηκώσει και τον container) να δούμε για ποιό λόγο κολλάει.
Καλή συνέχεια, Γιάννης
2017-03-12 21:50 GMT+02:00 Geo Angelopoulos geo.angelotti@gmail.com:
Χαίρετε,
Προσπαθώντας να τρέξω δικό μου java αρχείο ή από τα hadoop examples το πρόγραμμα κολλάει αρχικά και δεν προχωράει καθόλου. root@master:~# yarn jar hadoop-mapreduce-examples-2.6.3.jar wordcount /input/enwiki-latest-all-titles-in-ns0.1000.txt /output/wordcount.txt INFO client.RMProxy: Connecting to ResourceManager at master/ 192.168.1.1:8050 INFO input.FileInputFormat: Total input paths to process : 1 INFO mapreduce.JobSubmitter: number of splits:1 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1489339353440_0002 INFO impl.YarnClientImpl: Submitted application application_1489339353440_0002 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/ application_1489339353440_0002/ INFO mapreduce.Job: Running job: job_1489339353440_0002
Κάποιες φορές προχωράει μια γραμμή παραπάνω: INFO mapreduce.Job: map 0% reduce 0% και κολλάει εδώ.
Tόσο στον master όσο και τον slave μια χαρά τρέχει το hdfs και το yarn πριν την εκτέλεση, root@master:~# jps 15066 SecondaryNameNode 14922 NameNode 15239 ResourceManager 15500 Jps
root@slave:~# jps 2239 NodeManager 2142 DataNode 2367 Jps
όσο και κατα την διάρκεια της εκτέλεσης. root@master:~# jps 15066 SecondaryNameNode 15544 RunJar 14922 NameNode 15239 ResourceManager 15637 Jps
root@slave:~# jps 2446 MRAppMaster 2239 NodeManager 2549 Jps 2142 DataNode
Ψάχνοντας στο internet μάλλον το θέμα είναι είτε ότι ο yarn έχει μικρή μνήμη ανα mapper αλλά αυτό δεν είναι λογικό καθώς κάθε block είναι λίγο μικρότερο από 32mB ενώ δίνουμε στο node 1800mB ή γενικότερα επειδή το τρέχουμε σε VM και κολλάει για αυτό.
Ευχαριστώ πολύ Γιώργος Αγγελόπουλος
Atds mailing list Atds@lists.cslab.ece.ntua.gr http://lists.cslab.ece.ntua.gr/mailman/listinfo/atds