一字千金

摘要： 1.1 Mapreduce作业流JobControl和Oozie 更复杂的任务，需要多个mapreduce作业，形成作业流，而不是增加map和reduce的复杂度。复杂问题，可以用高级语言pig、hive、cascading、crunch、spark。 1.1.1 问题分解成mapreduce作业流 阅读全文

摘要： 提高速度和性能。可以从下面几个点去优化 可以在本地运行调试来优化性能，但是本地和集群是完全不同的环境，数据流模式也截然不同，性能优化要在集群上测试。有些问题如（内存溢出）只能在集群上重现。 HPROF任务分析工具，使用下面命令启动jdk自带的分析工具，提供CPU和堆栈使用情况。 % hadoop j 阅读全文

摘要： 1.1 集群运行 1.1.1 集群运行步骤 (1)打包 打作业jar包发送给集群，hadoop通过搜索驱动程序的类路径（驱动程序中通过setJarByClass设置）自动查找作业的的jar文件，打包命令： mvn package –DskipTests //–DskipTests 跳过测试的意思 （ 阅读全文

摘要： QStockView_1.0.8 新增主动资金变化曲线分析，主动资金是指主动买入的交易金额减去主动卖出的交易金额，分为全部净资金和主力净资金。单位为百万。主动资金为正时，表示主动买入的资金比主动卖出的资金要多，股票会呈上升趋势，同理主动资金为负时，表明主动买入的资金比主动卖出的资金少，股票会下跌；可 阅读全文

摘要： 1.1 本地运行器进行本地测试 写一个MapReduce驱动程序，执行job，实现tool接口，所以可以通过hadoop的命令行去设置为本地运行模式。实现tool的run函数，在run函数中创建job执行任务，输出结果。 1.1.1 本地任务执行器定义 package Temperature; im 阅读全文

摘要： Hadoop 3.2.1 win10 64位系统 vs2015 编译 1 环境配置 1.1 JDK下载安装 1.1.1 下载 JDK 1.8 （jdk1.8.0_102） 下载地址 ： http://www.oracle.com/technetwork/java/javase/downloads/j 阅读全文

摘要： 1.问题：QTabWiget的头部背景色通过设置background-color属性没有生效，网上找了很多方法，也不生效。 2.解决办法：在Qt Designer中将autoFillBackground复选框勾选，设置背景色，就会自动填充颜色。 background-color:#FFFFFF 3. 阅读全文

摘要： 1.1 MRUnit写单元测试 作用：一旦MapReduce项目提交到集群之后，若是出现问题是很难定位和修改的，只能通过打印日志的方式进行筛选。又如果数据和项目较大时，修改起来则更加麻烦。所以，在将MapReduce项目提交到集群上之前，我们需要先对其进行单元测试。单元测试需要用到mrunit库，这 阅读全文

摘要： 辅助类GenericOptionsParser,Tool和ToolRunner （1）为什么要用ToolRunner 将MapReduce Job配置参数写到java代码里，一旦变更意味着修改java文件源码、编译、打包、部署一连串事情。当MapReduce 依赖配置文件的时候，你需要手工编写jav 阅读全文

摘要： 6.1 Hadoop属性配置API Hadoop需要添加一些自定义的属性值，可以通过Configuration类的实例来加载xml配置文件中的属性值。 （1） xml配置文件的格式 <?xml version="1.0"?> <configuration> <property> <name>colo 阅读全文