一字千金

摘要： 1.1 集群运行 1.1.1 集群运行步骤 (1)打包 打作业jar包发送给集群，hadoop通过搜索驱动程序的类路径（驱动程序中通过setJarByClass设置）自动查找作业的的jar文件，打包命令： mvn package –DskipTests //–DskipTests 跳过测试的意思 （ 阅读全文

摘要： QStockView_1.0.8 新增主动资金变化曲线分析，主动资金是指主动买入的交易金额减去主动卖出的交易金额，分为全部净资金和主力净资金。单位为百万。主动资金为正时，表示主动买入的资金比主动卖出的资金要多，股票会呈上升趋势，同理主动资金为负时，表明主动买入的资金比主动卖出的资金少，股票会下跌；可 阅读全文

摘要： 1.1 本地运行器进行本地测试 写一个MapReduce驱动程序，执行job，实现tool接口，所以可以通过hadoop的命令行去设置为本地运行模式。实现tool的run函数，在run函数中创建job执行任务，输出结果。 1.1.1 本地任务执行器定义 package Temperature; im 阅读全文

摘要： Hadoop 3.2.1 win10 64位系统 vs2015 编译 1 环境配置 1.1 JDK下载安装 1.1.1 下载 JDK 1.8 （jdk1.8.0_102） 下载地址 ： http://www.oracle.com/technetwork/java/javase/downloads/j 阅读全文

摘要： 1.问题：QTabWiget的头部背景色通过设置background-color属性没有生效，网上找了很多方法，也不生效。 2.解决办法：在Qt Designer中将autoFillBackground复选框勾选，设置背景色，就会自动填充颜色。 background-color:#FFFFFF 3. 阅读全文

摘要： 1.1 MRUnit写单元测试 作用：一旦MapReduce项目提交到集群之后，若是出现问题是很难定位和修改的，只能通过打印日志的方式进行筛选。又如果数据和项目较大时，修改起来则更加麻烦。所以，在将MapReduce项目提交到集群上之前，我们需要先对其进行单元测试。单元测试需要用到mrunit库，这 阅读全文

摘要： 辅助类GenericOptionsParser,Tool和ToolRunner （1）为什么要用ToolRunner 将MapReduce Job配置参数写到java代码里，一旦变更意味着修改java文件源码、编译、打包、部署一连串事情。当MapReduce 依赖配置文件的时候，你需要手工编写jav 阅读全文

摘要： 6.1 Hadoop属性配置API Hadoop需要添加一些自定义的属性值，可以通过Configuration类的实例来加载xml配置文件中的属性值。 （1） xml配置文件的格式 <?xml version="1.0"?> <configuration> <property> <name>colo 阅读全文

摘要： 5.4.2 mapFile （1）定义 MapFile即为排序后的SequeneceFile,将sequenceFile文件按照键值进行排序，并且提供索引实现快速检索。 （2）索引 索引取值是每隔128（默认128，可通过io.map.index.interval来修改）个键取一个键组成，将索引加载 阅读全文

摘要： 5.4.1 sequenceFile读写文件、记录边界、同步点、压缩排序、格式 HDFS和MapReduce是针对大文件优化的存储文本记录,不适合二进制类型的数据。SequenceFile作为小文件的容器，SequenceFile类型将小文件包装起来，可以获得更高效率的存储和处理。sequenceF 阅读全文