摘要：
1.解压安装包到/opt目录下 tar -zxvf cloudera--el6-cm5.7.1_x86_64.tar.gz -C /opt/ 2.修改agent下的config.ini文件，将server_host设置为server所在服务器主机名 2.修改agent下的config.ini文件，将
阅读全文
posted @ 2018-04-18 15:38
豪放婉约派程序员
阅读(910)
推荐(0)
摘要：
之前有文章介绍过HDFS租约带来的问题，导致spark应用无法正常读取文件，只能将异常文件找出并且删除后，任务才能继续执行。 但是删除文件实在是下下策，而且文件本身其实并未损坏，只是因为已经close的客户端没有及时的释放租约导致。 按照Hadoop官网的说法，HDFS会启动一个单独的线程，专门处理
阅读全文
posted @ 2017-08-07 19:31
豪放婉约派程序员
阅读(1594)
推荐(0)
摘要：
当HDFS某个或者某几个datanode被关闭，并且这期间一直有数据在写入HDFS时，HDFS上某些block可能会发生HDFS租约问题，导致在一定时间期限内，其他应用程序（MR、spark、hive等）无法读取该block数据而抛出异常，异常如下： 关于租约的详细情况，可以从此链接进行了解：htt
阅读全文
posted @ 2017-07-28 14:27
豪放婉约派程序员
阅读(1316)
推荐(0)
摘要：
运行start-master.sh后，日志报错如下： 解决办法： 在spark-env.sh中配置： 再次运行启动脚本即可。
阅读全文
posted @ 2017-03-04 21:19
豪放婉约派程序员
阅读(5999)
推荐(1)
摘要：
Map端： 1．每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M，由io.sort.mb属性控制），当该缓冲区快要溢出时（默认为缓冲区大小的8
阅读全文
posted @ 2017-02-26 20:49
豪放婉约派程序员
阅读(182)
推荐(0)
摘要：
今天在看JDK源码的时候，发现Integer求正数位数的方法，和自己写的方法差异比较大，而且效率很高，具体方法如下： 简单来说，就是如果x小于等于9，那就是1位数，小于等于99，就是2位数，和自己之前写的用取模方法相比，这种方法的时间复杂度几乎是O(1)
阅读全文
posted @ 2017-02-26 12:27
豪放婉约派程序员
阅读(2075)
推荐(0)
摘要：
常见的RDD转化操作 对一个数据为{1,2,3,3}的RDD进行基本的RDD转化操作
阅读全文
posted @ 2017-02-10 22:10
豪放婉约派程序员
阅读(618)
推荐(0)
摘要：
学习背景 本人现在在一家非科技公司工作，到现在入职已经5个多月了。 我之前有过大数据工作的经验，算接触了一点皮毛，到这家公司也是抱着继续往大数据方向发展的心态而来的。 面试我的是一位海归博士，刚开始觉得他应该是一位大数据专家，但在面试的过程中就发现不太对头，不过觉得公司应该有CTO的人物存在，于是稀
阅读全文
posted @ 2017-02-09 23:23
豪放婉约派程序员
阅读(289)
推荐(0)
摘要：
《教父》是我最喜欢的小说已经电影之一，在网上搜集了其中的经典台词和英文原版： Don’t hate your enemy, or you will make wrong judgment.不要憎恨你的敌人，否则你将做出错误的判断。Don’t let anybody know what you are
阅读全文
posted @ 2017-01-21 17:18
豪放婉约派程序员
阅读(5527)
推荐(0)
摘要：
有用过MATSIM做交通仿真的朋友应该都知道，在创建Scenario时，会默认加载matsim官网的netword的dtd文件，然后因为网络的问题，加载往往会报错，从而造成系统异常退出，如图所示： 根据日志提示，得知“罪魁祸首”就是MatsimXmlParser.java这个类中的第215行附近的代
阅读全文
posted @ 2017-01-17 10:26
豪放婉约派程序员
阅读(451)
推荐(0)
浙公网安备 33010602011771号