Γειά σου Γιώργο,

κατά την ώρα που "κολλάει" το Map Reduce job, τι log παίρνεις; Από ότι φαίνεται από το output που επισυνάπτεις, το job έχει γίνει spawn (το RunJar είναι το binary που σηκώνεται και τρέχει το Jar σου και ο MRAppMaster είναι ο Application Master) αλλά δεν έχει γίνει spawn κάποιο container που θα τρέξει το actual job. Υπάρχει αρκετή διαθέσιμη μνήμη για να σηκωθεί ο container; Το UI του YARN σου δίνει κάποια παραπάνω πληροφορία;

Δες τα logs του NodeManager (που είναι ο υπεύθυνος να σηκώσει και τον container) να δούμε για ποιό λόγο κολλάει.

Καλή συνέχεια,

Γιάννης

2017-03-12 21:50 GMT+02:00 Geo Angelopoulos <geo.angelotti@gmail.com>:

Χαίρετε,

Προσπαθώντας να τρέξω δικό μου java αρχείο ή από τα hadoop examples το πρόγραμμα κολλάει αρχικά και δεν προχωράει καθόλου.
root@master:~# yarn jar hadoop-mapreduce-examples-2.6.3.jar wordcount /input/enwiki-latest-all-titles-in-ns0.1000.txt /output/wordcount.txt
INFO client.RMProxy: Connecting to ResourceManager at master/192.168.1.1:8050
INFO input.FileInputFormat: Total input paths to process : 1
INFO mapreduce.JobSubmitter: number of splits:1
INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1489339353440_0002
INFO impl.YarnClientImpl: Submitted application application_1489339353440_0002
INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1489339353440_0002/
INFO mapreduce.Job: Running job: job_1489339353440_0002

Κάποιες φορές προχωράει μια γραμμή παραπάνω:
INFO mapreduce.Job: map 0% reduce 0%
και κολλάει εδώ.

Tόσο στον master όσο και τον slave μια χαρά τρέχει το hdfs και το yarn πριν την εκτέλεση,
root@master:~# jps
15066 SecondaryNameNode
14922 NameNode
15239 ResourceManager
15500 Jps

root@slave:~# jps
2239 NodeManager
2142 DataNode
2367 Jps

όσο και κατα την διάρκεια της εκτέλεσης.
root@master:~# jps
15066 SecondaryNameNode
15544 RunJar
14922 NameNode
15239 ResourceManager
15637 Jps

root@slave:~# jps
2446 MRAppMaster
2239 NodeManager
2549 Jps
2142 DataNode

Ψάχνοντας στο internet μάλλον το θέμα είναι είτε ότι ο yarn έχει μικρή μνήμη ανα mapper αλλά αυτό δεν είναι λογικό καθώς κάθε block είναι λίγο μικρότερο από 32mB ενώ δίνουμε στο node 1800mB ή γενικότερα επειδή το τρέχουμε σε VM και κολλάει για αυτό.

Ευχαριστώ πολύ
Γιώργος Αγγελόπουλος

_______________________________________________
Atds mailing list
Atds@lists.cslab.ece.ntua.gr
http://lists.cslab.ece.ntua.gr/mailman/listinfo/atds

Ioannis Giannakopoulos
PhD Candidate, Systems Administrator
Computing Systems Laboratory, School of ECE
National Technical University of Athens
e-mail: ggian@cslab.ece.ntua.gr
site: http://www.cslab.ece.ntua.gr/~ggian/
skype name: giagiannis
tel: +302107721530