摘要：
jdbcutil 主要处理的是 连接数据库， 和关闭各个流 1， 数据库连接的配置信息： mysql.properties (在工程的目录下)个人配置 2， 获取连接 读取配置信息，加载驱动。连接。（这个在后面的例子常用到） package com.ljs.util; import java.io. 阅读全文
posted @ 2018-12-14 22:33
清湾大威少
阅读(5903)
评论(1)
推荐(0)
摘要：
第一部分： javaBean 类 要和数据库表的字段一一对应 阅读全文
posted @ 2018-12-14 22:28
清湾大威少
阅读(251)
评论(0)
推荐(0)
摘要：
这个前提需要注意：好友之间的关系是单向的，我的好友队列里有你，你的里面不一定有我。所以思考方式需要改变。 共同好友： 某两个人的好友队列里都有的人。 第一个mapper 和 reducer 简单说：找出 有谁把我当朋友呗。 他们的共同好友有我啦。 第二个 mapper 和 reducer 将他们的共 阅读全文
posted @ 2018-12-10 22:16
清湾大威少
阅读(414)
评论(0)
推荐(0)
摘要：
单行注释： CTRL + / 当行取消注释（一样的）： CTRL + / 多行注释： CTRL + SHIFT + / 多行取消注释（斜杠换成反斜杠）： CTRL + SHIFT + \ 阅读全文
posted @ 2018-12-10 22:04
清湾大威少
阅读(900)
评论(0)
推荐(0)
摘要：
需求是： 统计输出某目录文件的所有单词，去除重复的单词。 mapper阶段正常做map工作，映射。 切割单词。 <key,value> --> <word,nullWritable> reducer阶段，对于同一个key 的一组信息，是只输出第一个。 mapper 和wordcount 的单词数是一 阅读全文
posted @ 2018-12-10 19:08
清湾大威少
阅读(329)
评论(0)
推荐(0)
摘要：
mapreduce 计数器用来做某个信息的统计。 计数器是全局的。mapreduce 框架将跨所有map和reduce聚集这些计数器，并且作业结束时产生一个最终的结果。 语法像 java 的 enum 类型。 需求： 统计某个目录下，各个文件一共出现的行数，和出现单词的总数。 思路： 定义一个计数器 阅读全文
posted @ 2018-12-09 21:22
清湾大威少
阅读(822)
评论(0)
推荐(0)
摘要：
mapreducer第一个例子，主要是统计一个目录下各个文件中各个单词出现的次数。 mapper reudcer job 驱动 阅读全文
posted @ 2018-12-09 20:00
清湾大威少
阅读(170)
评论(0)
推荐(0)
摘要：
妈呀，今天又重装了系统。需要装上java环境。 安装环境老百度，然后老掉坑。（path 路经） 1，新建环境变量 JAVA_HOME 2, 新建 CLASSPATH 环境变量 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; 3， 在path 系 阅读全文
posted @ 2018-12-09 15:50
清湾大威少
阅读(1547)
评论(0)
推荐(0)
摘要：
序列化：将内存中的对象 转换成字节序列以便于存储在磁盘上或者用于网络传输。 反序列化：将磁盘或者从网络中接受到的字节序列，装换成内存中的对象。 自定义bean对象（普通java对象）要想序列化传输，必须实现序列化接口。 （1）必须实现Writable接口 （2）反序列化时，需要反射调用空参构造函数， 阅读全文
posted @ 2018-12-06 20:41
清湾大威少
阅读(228)
评论(0)
推荐(0)
摘要：
hdfs 文件上传 本地 > 文件系统对象 > hdfs 文件系统 输入流 输出流 hdfs 文件下载 本地 < 文件系统对象 < hdfs文件系统 集群 输出流 输出流 定位文件读取 读取第一块 128M 从第二块文件开始读取 阅读全文
posted @ 2018-12-04 23:15
清湾大威少
阅读(432)
评论(0)
推荐(0)
浙公网安备 33010602011771号