|
問:在eclipse中的寫的代碼如何提交作業(yè)到JobTracker中的哪? 答: (1)在eclipse中調(diào)用的job.waitForCompletion(true)實際上執(zhí)行如下方法 connect(); info = jobClient.submitJobInternal(conf); (2)在connect()方法中,實際上創(chuàng)建了一個JobClient對象。 在調(diào)用該對象的構(gòu)造方法時,獲得了JobTracker的客戶端代理對象JobSubmissionProtocol。 JobSubmissionProtocol的實現(xiàn)類是JobTracker。 (3)在jobClient.submitJobInternal(conf)方法中,調(diào)用了 JobSubmissionProtocol.submitJob(...), 即執(zhí)行的是JobTracker.submitJob(...)。 1.Hadoop的數(shù)據(jù)類型要求必須實現(xiàn)Writable接口。 2.java基本類型與Hadoop常見基本類型的對照 Long LongWritable Integer IntWritable Boolean BooleanWritable String Text 問:java類型如何轉(zhuǎn)化為hadoop基本類型? 答:調(diào)用hadoop類型的構(gòu)造方法,或者調(diào)用set()方法。 new LongWritable(123L); 問:hadoop基本類型如何轉(zhuǎn)化為java類型? 答:對于Text,需要調(diào)用toString()方法,其他類型調(diào)用get()方法。
|
|
|