随笔分类 -  java

上一页 1 2 3 4 5 下一页
【Hadoop】Hadoop MR 如何实现倒排索引算法？
摘要：1、概念、方案 2、代码示例 InverseIndexOne InverseIndexTwo 参考资料： How to check if processing the last item in an Iterator?：http://stackoverflow.com/questions/96339 阅读全文
posted @ 2016-09-08 10:28 junneyang 阅读(949) 评论(0) 推荐(0)
【Hadoop】三句话告诉你 mapreduce 中MAP进程的数量怎么控制？
摘要：1、果断先上结论 1.如果想增加map个数，则设置mapred.map.tasks 为一个较大的值。 2.如果想减小map个数，则设置mapred.min.split.size 为一个较大的值。 3.如果输入中有很多小文件，依然想减少map个数，则需要将小文件merger为大文件，然后使用准则2。 阅读全文
posted @ 2016-09-07 18:17 junneyang 阅读(11702) 评论(1) 推荐(3)
【Hadoop】MR 切片机制 & MR全流程
摘要：1、概念 2、Split机制 3、MR Shuffle过程 4、MR中REDUCE与MAP写作过程 5、MR全貌 阅读全文
posted @ 2016-09-07 18:03 junneyang 阅读(4539) 评论(0) 推荐(1)
【Eclipse】Eclipse 中 使用 Git 方法
摘要：参考资料： Eclipse关联GitHub实现版本控制：http://jingyan.baidu.com/article/64d05a0262f013de55f73bcc.html http://www.cnblogs.com/yc-755909659/p/3753626.html 冲突解决方案：h 阅读全文
posted @ 2016-09-07 14:54 junneyang 阅读(213) 评论(0) 推荐(0)
【Hadoop】Hadoop MR 自定义分组 Partition机制
摘要：1、概念 2、Hadoop默认分组机制--所有的Key分到一个组，一个Reduce任务处理 3、代码示例 FlowBean FlowGroup FlowGroupPartition 阅读全文
posted @ 2016-09-07 14:01 junneyang 阅读(2231) 评论(0) 推荐(0)
【Hadoop】Hadoop MR 自定义排序
摘要：1、概念 2、代码示例 FlowSort FlowBean LineException 阅读全文
posted @ 2016-09-07 11:24 junneyang 阅读(1210) 评论(0) 推荐(0)
【Hadoop】Hadoop MR异常处理
摘要：1、代码示例 2、参考资料： Java异常处理：http://fluagen.blog.51cto.com/146595/304197 Hadoop获取出错行：http://www.aboutyun.com/thread-13962-1-1.html http://blog.csdn.net/wuz 阅读全文
posted @ 2016-09-07 11:21 junneyang 阅读(657) 评论(0) 推荐(0)
【Hadoop】Hadoop MR 性能优化 Combiner机制
摘要：1、概念 2、参考资料 提高hadoop的mapreduce job效率笔记之二（尽量的用Combiner） ：http://sishuo(k).com/forum/blogPost/list/5829.html Hadoop学习笔记—8.Combiner与自定义Combiner：http://ww 阅读全文
posted @ 2016-09-07 11:17 junneyang 阅读(876) 评论(0) 推荐(0)
【Hadoop】Hadoop MR 自定义序列化类
摘要：1、基本概念 2、Mapper代码 3、Reducer代码 4、序列化Bean代码 5、TestRunner代码 参考资料： http://www.cnblogs.com/robert-blue/p/4157768.html http://www.cnblogs.com/qlee/archive/2 阅读全文
posted @ 2016-09-06 16:18 junneyang 阅读(982) 评论(0) 推荐(0)
【Hadoop】YARN 原理、MR本地&YARN运行模式
摘要：1、基本概念 2、YARN、MR交互流程 3、源码解读 阅读全文
posted @ 2016-09-06 11:32 junneyang 阅读(1419) 评论(0) 推荐(0)
【Hadoop】Hadoop mr wordcount基础
摘要：1、基本概念 2、Mapper 3、Reducer 4、JobRunner 5、JAR 提交作业 到YARN 阅读全文
posted @ 2016-09-06 09:22 junneyang 阅读(766) 评论(0) 推荐(0)
【JUnit】Junit命令行执行、参数化执行、Main方法执行
摘要：参考资料： main方法执行：http://stackoverflow.com/questions/2543912/how-do-i-run-junit-tests-from-inside-my-java-application http://sqa.fyicenter.com/FAQ/JUnit/ 阅读全文
posted @ 2016-09-05 18:20 junneyang 阅读(3168) 评论(0) 推荐(0)
【JAVA】StringTokenizer 迭代方式对字符串进行分割
摘要：StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。1.构造函数public StringTokenizer(String str)public StringTokenizer(String str, String delim)public StringTo 阅读全文
posted @ 2016-09-05 17:13 junneyang 阅读(1487) 评论(0) 推荐(0)
【Hadoop】Hadoop RPC框架线程模型
摘要：1、线程模型 2、参考资料： 源码级强力分析hadoop的RPC机制：http://weixiaolu.iteye.com/blog/1504898Hadoop RPC框架：http://blog.csdn.net/thomas0yang/article/details/41211259 Hadoo 阅读全文
posted @ 2016-09-05 09:49 junneyang 阅读(290) 评论(0) 推荐(0)
【Hadoop】Hadoop 中 RPC框架原理、代码示例
摘要：0、内容 1、hadoop中的RPC框架封装思想 2、Hadoop RPC 实现方法 3、服务调用动态转发和负载均衡的实现思考 4、协议代码： 5、服务端代码： 6、客户端代码： 阅读全文
posted @ 2016-09-05 09:24 junneyang 阅读(1399) 评论(0) 推荐(0)
【Hadoop】HDFS客户端开发示例
摘要：1、原理、步骤 2、HDFS客户端示例代码 阅读全文
posted @ 2016-09-02 17:58 junneyang 阅读(1928) 评论(0) 推荐(0)
【Scala】Scala技术栈
摘要：快速了解Scala技术栈 我无可救药地成为了Scala的超级粉丝。在我使用Scala开发项目以及编写框架后，它就仿佛凝聚成为一个巨大的黑洞，吸引力使我不得不飞向它，以至于开始背离Java。固然Java 8为Java阵营增添了一丝亮色，却是望眼欲穿，千呼万唤始出来。而Scala程序员，却早就在享受la 阅读全文
posted @ 2016-03-16 11:33 junneyang 阅读(811) 评论(0) 推荐(1)
【Spring】Spring系列7之Spring整合MVC框架
摘要：7、Spring整合MVC框架 7.1、web环境中使用Spring 7.2、整合MVC框架 目标：使用Spring管理MVC的Action、Controller 最佳实践参考：http://www.itnose.net/detail/6102205.html http://wenku.baidu. 阅读全文
posted @ 2016-03-09 09:54 junneyang 阅读(240) 评论(0) 推荐(0)
【Spring】Spring系列6之Spring整合Hibernate
摘要：6、Spring整合Hibernate 6.1、准备工作 6.2、示例 com.xcloud.entities.book com.xcloud.dao.book com.xcloud.service.book com.xcloud.utils.exception 阅读全文
posted @ 2016-03-09 09:43 junneyang 阅读(290) 评论(0) 推荐(0)
【Spring】Spring系列5之Spring支持事务处理
摘要：5、Spring支持事务处理 5.1、事务准备 以上代码结构与AOP的前置通知、返回通知、异常通知、后置通知一样。 5.2、声明式事务 5.2.1、基于注解 5.2.2、基于配置文件 5. 3、事务传播属性 5.4、事务其他属性 5.4.1、事务的隔离级别 5.4.2、事物的回滚属性 5.4.3、超 阅读全文
posted @ 2016-03-09 09:41 junneyang 阅读(303) 评论(0) 推荐(0)

上一页 1 2 3 4 5 下一页