摘要：
要想让mapreduce程序引用第三方jar文件, 可以采用如下方式:通过命令行参数传递jar文件, 如-libjars等;直接在conf中设置, 如conf.set(“tmpjars”,*.jar), jar文件用逗号隔开;利用分布式缓存, 如DistributedCache.addArchive... 阅读全文
摘要：
hadoop2的安装教程Spark可以直接安装在hadoop2上面，主要是安装在hadoop2的yarn框架上面安装Spark之前需要在每台机器上安装Scala,根据你下载的Spark版本，选择对应的Scala和jdkScala的安装就是解压缩，然后配置环境变量，将Scala的执行命令配置到Path... 阅读全文
摘要：
hadoop2与hadoop1的配置有些许不同，最主要的是hadoop1里的master变成了yarn这篇文直接从hadoop的配置开始，因为系统环境和jdk和hadoop1都是一样的。hadoop1的配置链接，从第六步开始六、设置hadoop2参数进入 usr/local/hadoop/etc/h... 阅读全文
摘要：
（1）if elseval s=if(x>0) 1 else -1(2)循环while(n>0){r=r*nn-=1}///for 循环for(i =0) x else -x//大括号的函数定义def abs(x :Double)={ if (x>=0) x else -x}//函数参数def de... 阅读全文
摘要：
Scala中变量需要注意的地方：（1）val,varval 定义的声明是一个常量，不能改变内容。var定义的声明是一个变量，可以改变其内容在Scala中，尽可能使用valval answer=8*5//不可变常量var answer=0//可变变量val greeting: String = nul... 阅读全文
摘要：
在linux在可以通过在脚本里（列如sh）写如日常需要进行的操作，然后通过crontab定时运行脚本。Linux下的任务调度分为两类，系统任务调度和用户任务调度。系统任务调度：系统周期性所要执行的工作，比如写缓存数据到硬盘、日志清理等。在/etc目录下有一个crontab文件，这个就是系统任务调度的... 阅读全文
摘要：
本文是将三台电脑用路由器搭建本地局域网，系统为centos6.5,已经实验验证，搭建成功。一、设置静态IP&修改主机名&关闭防火墙（all-root）（对三台电脑都需要进行操作）0.将三台电脑安装centos6.5系统1.设置静态ip（便于机器之间的通信，防止路由器电脑重启后，ip变化，导致不能通信... 阅读全文
摘要：
vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0 #描述网卡对应的设备别名，例如ifcfg-eth0的文件中它为eth0BOOTPROTO=static #设置网卡获得ip地址的方式，可能的选项为static，dhcp或bootp，分别... 阅读全文
摘要：
vim /etc/udev/rules.d/70-persistent-net.rules可以看到eth0 eth1两个。注释NAME="eth0"# PCI device 0x8086:0x100f (e1000)SUBSYSTEM=="net", ACTION=="add", DRIVERS==... 阅读全文
摘要：
题意：求树上A，B两点路径上第K小的数分析：同样是可持久化线段树，只是这一次我们用它来维护树上的信息。我们之前已经知道，可持久化线段树实际上是维护的一个前缀和，而前缀和不一定要出现在一个线性表上。比如说我们从一棵树的根节点进行DFS，得到根节点到各节点的距离dist[x]——这是一个根-x路径上点与根节点距离的前缀和。利用这个前缀和，我们可以解决一些树上任意路径的问题，比如在线询问[a,b]点对的距离——答案自然是dist[a]+dist[b]-2*dist[lca(a,b)]。同理，我们可以利用可持久化线段树来解决树上任意路径的问题。DFS遍历整棵树，然后在每个节点上建立一棵线段树，某一棵线 阅读全文