博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop散记
阅读量:5734 次
发布时间:2019-06-18

本文共 466 字,大约阅读时间需要 1 分钟。

hot3.png

不写,默认是下面的转换类

job.setInputFormatClass(TextInputFormat.class)

List<InputSplit> InputFormat.getSplits首先对输入的数据做切分,切分后的split书面决定map的任务数;

RecordReader<K,V> InputFormat.createRecordReader(InputSplit split, ...)传入切分的数据,处理成key、value,然后把keyvalue值送给map执行,每一对key、value对都会调用一次map;

FileInputFormat<K, V> extends InputFormat<K, V>

List<InputSplit> FileInputFormat.getSplits

090532_PScQ_2004245.png

TextInputFormat extends FileInputFormat<LongWritable, Text>

090756_gcep_2004245.png

 

转载于:https://my.oschina.net/sniperLi/blog/359081

你可能感兴趣的文章
PS 如何使用液化工具给人物减肥
查看>>
cvc-complex-type.2.4.c: The matching wildcard...
查看>>
android 读取json数据(遍历JSONObject和JSONArray)
查看>>
pyjamas build AJAX apps in Python (like Google did for Java)
查看>>
<JavaScript语言精粹>-读书笔记(一)
查看>>
NPM教程
查看>>
Java学习笔记(40)——Java集合12之fail-fast
查看>>
Centos 配置IP的方式
查看>>
Go 的吉祥物,萌不萌
查看>>
Java 的swing.GroupLayout布局管理器的使用方法和实例
查看>>
Android中Activity和Fragment的生命周期的对比
查看>>
C++Primer_笔记_异常处理
查看>>
分区交换 alter table exchange partition 在线表 历史表交换
查看>>
思科三层交换 HSRP 热备 配置方法
查看>>
zabbix详解:(二)添加被监控机器
查看>>
设计模式单列
查看>>
人像模式的灯光效果?iPhone 8开挂袭来
查看>>
Linux下MongoDB安装与配置
查看>>
DSL配置(PPPOA)
查看>>
WEBRTC执行流程
查看>>