大数据 - 随笔分类 - 自律=自由

摘要：hadoop dfsadmin -safemode leave 阅读全文

posted @ 2015-04-01 22:15 自律=自由阅读(350) 评论(0) 推荐(0)

摘要：1.安装了mysql以后，必须将mysql-connector-java-5.1.10.jar文件拷贝到每个$HADOOP_HOME/lib文件夹下。否则工作时候么有办法链接2.使用linux系统的拷贝，不是hadoop fs -put 的上传文件到文件系统中。3.拷贝以后需要重新启动hadoop。... 阅读全文

posted @ 2015-03-21 06:46 自律=自由阅读(212) 评论(0) 推荐(0)

KeyValueTextInputformat

摘要：通过分隔符进行对每一行进行分割，如果一行中没有出现分隔符，则整个行为key，value为空。即在一个行中找到分隔符分割的第一个值，为key例如hello youhello me其中第一行的key为hello，值为you第二行key为hello，value 为me 阅读全文

posted @ 2015-03-12 06:30 自律=自由阅读(247) 评论(0) 推荐(0)

TextInputFormat和NLineInputFormat的区别

摘要：1.TextInputFormat类中使用父类的getSplit方法。其中拆分split时，以文件为单位进行循环。如果文件大于splitSize则进行拆分，否则一个文件为一个split。默认使用blockSize获取splitSize。进行逻辑分割成若干split2NLineInputFormat类... 阅读全文

posted @ 2015-03-12 05:58 自律=自由阅读(406) 评论(0) 推荐(0)

随笔分类 - 大数据