摘要:1)导包容易出错。尤其Text和CombineTextInputFormat。 2)Mapper中第一个输入的参数必须是LongWritable或者NullWritable,不可以是IntWritable. 报的错误是类型转换异常。 3)java.lang.Exception: java.io.IO 阅读全文
posted @ 2020-09-16 16:58 孙晨c 阅读(21) 评论(0) 推荐(0) 编辑
摘要:以下是博客的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) 求出哪些人两两之间有共同好友,及他俩的共同好友都有谁? 输出格式: A-B:C,E (用户-用户:共同好友...) 需求分析 分为两个job 第一次输出结果,先求出A、B、C、….等是谁的好友 Job1 阅读全文
posted @ 2020-09-16 16:56 孙晨c 阅读(29) 评论(0) 推荐(0) 编辑
摘要:@ 1.输入数据接口:InputFormat (1)默认使用的实现类是:TextInputFormat (2)TextInputFormat的功能逻辑是:一次读一行文本,然后将该行的起始偏移量作为key,行内容作为value返回。 (3)KeyValueTextInputFormat每一行均为一条记 阅读全文
posted @ 2020-09-16 15:41 孙晨c 阅读(39) 评论(0) 推荐(0) 编辑
摘要:@ 打开\创建文件 在python,使用open函数,可以打开一个已经存在的文件,或者创建一个新文件,默认在当前程序所在文件夹下创建新文件。 格式:open(文件名,访问模式),例如 f = open('test.txt','w') #以写模式打开文件,不存在就创建新文件 创建新文件时如果不指定模式 阅读全文
posted @ 2020-09-16 10:56 孙晨c 阅读(26) 评论(0) 推荐(0) 编辑