IT晓白 - 博客园

摘要： hadoop为什么要合并小文件？小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果... 阅读全文

posted @ 2018-10-13 13:20 IT晓白阅读(1786) 评论(0) 推荐(0)

摘要：完整教程--idea使用git进行项目管理阅读全文

posted @ 2018-10-13 11:38 IT晓白阅读(105) 评论(0) 推荐(0)

摘要：在linux下运行程序时，发现了error while loading shared libraries这种错误，一时间不知道解决办法，在网上搜索，终于解决了： ./tests: error while loading shared libraries: xxx.so... 阅读全文

posted @ 2018-10-12 18:59 IT晓白阅读(580) 评论(0) 推荐(0)

摘要：报错:1130-host ... is not allowed to connect to this MySql server解决方法：1. 改表法。可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后... 阅读全文

posted @ 2018-10-11 12:52 IT晓白阅读(1136) 评论(0) 推荐(0)

摘要：概述MapReduce运行在Hadoop集群上。但MapReduce是通过另外一批进程来运行的。HDFS的进程名是NameNode、SecondaryNameNode和DataNode；而MapReduce的进程名（可以通过JPS命令查看）是：ResourceMana... 阅读全文

posted @ 2018-10-09 22:05 IT晓白阅读(279) 评论(0) 推荐(0)

摘要： hadoop参数配置阅读全文

posted @ 2018-10-09 21:18 IT晓白阅读(145) 评论(0) 推荐(0)

摘要：一、MR计算模型的由来 MapReduce最早是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法。Google公司设计MapReduce的初衷，主要是为了解决其搜索引擎中大规模网页数据的并行化处理。 Google公司发... 阅读全文

posted @ 2018-10-09 20:01 IT晓白阅读(921) 评论(0) 推荐(0)

摘要：单机伪分布：用一个节点模拟集群好处：方便测试，开发，占用资源小搭建方法：第一步：修改slaves文件，将master（主机名）写入文件中。第二步：修改hdfs-site.xml文件，将文件的副本数改成1（副本数小于等于节点数）。 replication ... 阅读全文

posted @ 2018-10-08 21:28 IT晓白阅读(240) 评论(0) 推荐(0)

摘要：一、目的：保证数据安全二、简介： Hadoop Key Management Server（KMS）是一个基于HadoopKeyProvider API编写的密钥管理服务器。他提供了一个client和一个server组件，client和server之间基于... 阅读全文

posted @ 2018-10-08 21:17 IT晓白阅读(1802) 评论(0) 推荐(1)

摘要：一：添加节点步骤：1.新节点中添加账户，设置无密码登陆2.Name节点中设置到新节点的无密码登陆3.在Name节点slaves文件中添加新节点4.在所有节点/etc/hosts文件中增加新节点名5.cd /usr/local/hadoop hadoop-deamon... 阅读全文

posted @ 2018-10-08 20:54 IT晓白阅读(515) 评论(0) 推荐(0)

一个双鱼座的列表儿