豪放婉约派程序员

CDH集群添加节点服务器步骤

摘要： 1.解压安装包到/opt目录下 tar -zxvf cloudera--el6-cm5.7.1_x86_64.tar.gz -C /opt/ 2.修改agent下的config.ini文件，将server_host设置为server所在服务器主机名 2.修改agent下的config.ini文件，将阅读全文

posted @ 2018-04-18 15:38 豪放婉约派程序员阅读(843) 评论(0) 推荐(0) 编辑

如何恢复未释放租约的HDFS文件

摘要：之前有文章介绍过HDFS租约带来的问题，导致spark应用无法正常读取文件，只能将异常文件找出并且删除后，任务才能继续执行。但是删除文件实在是下下策，而且文件本身其实并未损坏，只是因为已经close的客户端没有及时的释放租约导致。按照Hadoop官网的说法，HDFS会启动一个单独的线程，专门处理阅读全文

posted @ 2017-08-07 19:31 豪放婉约派程序员阅读(1469) 评论(1) 推荐(0) 编辑

HDFS读取数据发生异常

摘要：当HDFS某个或者某几个datanode被关闭，并且这期间一直有数据在写入HDFS时，HDFS上某些block可能会发生HDFS租约问题，导致在一定时间期限内，其他应用程序（MR、spark、hive等）无法读取该block数据而抛出异常，异常如下：关于租约的详细情况，可以从此链接进行了解：htt 阅读全文

posted @ 2017-07-28 14:27 豪放婉约派程序员阅读(1274) 评论(0) 推荐(0) 编辑

Spark2.1.0单机模式无法启动master的问题

摘要：运行start-master.sh后，日志报错如下：解决办法：在spark-env.sh中配置：再次运行启动脚本即可。阅读全文

posted @ 2017-03-04 21:19 豪放婉约派程序员阅读(5769) 评论(0) 推荐(1) 编辑

Hadoop中MapReduce过程

摘要： Map端： 1．每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M，由io.sort.mb属性控制），当该缓冲区快要溢出时（默认为缓冲区大小的8 阅读全文

posted @ 2017-02-26 20:49 豪放婉约派程序员阅读(176) 评论(0) 推荐(0) 编辑

Integer中计算int位数的方法

摘要：今天在看JDK源码的时候，发现Integer求正数位数的方法，和自己写的方法差异比较大，而且效率很高，具体方法如下：简单来说，就是如果x小于等于9，那就是1位数，小于等于99，就是2位数，和自己之前写的用取模方法相比，这种方法的时间复杂度几乎是O(1) 阅读全文

posted @ 2017-02-26 12:27 豪放婉约派程序员阅读(2030) 评论(0) 推荐(0) 编辑

Spark学习---常见的RDD转和行动操作

摘要：常见的RDD转化操作对一个数据为{1,2,3,3}的RDD进行基本的RDD转化操作阅读全文

posted @ 2017-02-10 22:10 豪放婉约派程序员阅读(609) 评论(0) 推荐(0) 编辑

Spark学习---RDD编程

摘要：学习背景本人现在在一家非科技公司工作，到现在入职已经5个多月了。我之前有过大数据工作的经验，算接触了一点皮毛，到这家公司也是抱着继续往大数据方向发展的心态而来的。面试我的是一位海归博士，刚开始觉得他应该是一位大数据专家，但在面试的过程中就发现不太对头，不过觉得公司应该有CTO的人物存在，于是稀阅读全文

posted @ 2017-02-09 23:23 豪放婉约派程序员阅读(280) 评论(0) 推荐(0) 编辑

《教父》中的经典台词以及英文原版

摘要：《教父》是我最喜欢的小说已经电影之一，在网上搜集了其中的经典台词和英文原版： Don’t hate your enemy, or you will make wrong judgment.不要憎恨你的敌人，否则你将做出错误的判断。Don’t let anybody know what you are 阅读全文

posted @ 2017-01-21 17:18 豪放婉约派程序员阅读(4881) 评论(0) 推荐(0) 编辑

关于MATSIM中，如何关闭自动加载dtd的问题

摘要：有用过MATSIM做交通仿真的朋友应该都知道，在创建Scenario时，会默认加载matsim官网的netword的dtd文件，然后因为网络的问题，加载往往会报错，从而造成系统异常退出，如图所示：根据日志提示，得知“罪魁祸首”就是MatsimXmlParser.java这个类中的第215行附近的代阅读全文

posted @ 2017-01-17 10:26 豪放婉约派程序员阅读(421) 评论(0) 推荐(0) 编辑

导航

2018年4月18日

2017年8月7日

2017年7月28日

2017年3月4日

2017年2月26日

2017年2月10日

2017年2月9日

2017年1月21日

2017年1月17日