上一页 1 2 3 4 5 6 ··· 27 下一页
摘要: 泛型和集合 泛型 泛型即参数化类型,也就是说数据类型变成了一个可变的参数,在不使用泛型的情况下,参数的数据类型都是写死了的,使用泛型之后,可以根据程序的需要进行改变。 只能是引用类型,不能是简单数据类型。 泛型参数可以有多个。 可以用使用 extends 语句或者 super 语句 如 表示类型的上 阅读全文
posted @ 2020-10-07 10:46 孙中明 阅读(219) 评论(0) 推荐(0) 编辑
摘要: Java常用类 ###Arrays Arrays 类包含用于操作数组的各种方法(例如排序和搜索)。还包含一个静态工厂,允许将数组转为 List。 import java.util.Arrays; import java.util.Random; public class hello { public 阅读全文
posted @ 2020-10-07 10:45 孙中明 阅读(156) 评论(0) 推荐(0) 编辑
摘要: Java面向对象 对象 面向对象的思想,体现的是人所关注对象的信息聚集在了一个具体的物体上。人们就是通过对象的属性和行为来了解对象。 对于一个具体的对象而言,比如一部 iPhone 16,世上还有许多跟这部手机有着同样属性或行为的对象,我们为了方便将它们归类起来,提取出他们相同的属性和行为,而我们把 阅读全文
posted @ 2020-10-07 10:44 孙中明 阅读(206) 评论(0) 推荐(0) 编辑
摘要: 算法 插入排序 有一个已经 有序 的数据序列,要求在这个已经排好的数据序列中插入一个数,但要求插入后此数据序列仍然有序,这个时候就要用到一种新的排序方法——插入排序法,插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中,从而得到一个新的、个数加一的有序数据,算法适用于少量数据的排序,时间复 阅读全文
posted @ 2020-10-07 10:42 孙中明 阅读(164) 评论(0) 推荐(0) 编辑
摘要: Java基础 if语句 if(条件){ 条件成立时执行的代码 } if(条件){ 代码块1 } else{ 代码块2 } switch语句 switch(表达式){ case 值1: 代码块1 break; case 值2: 代码块2 break; ... default: 默认执行的代码块 } d 阅读全文
posted @ 2020-10-07 10:40 孙中明 阅读(166) 评论(0) 推荐(0) 编辑
摘要: Java基础 Java背景 Java 是由 Sun Microsystems 公司于 1995 年 5 月推出的 Java 程序设计语言(以下简称 Java 语言)和 Java 平台的总称。Java 语言是一种面向对象的编程语言。虽然 Java 仅仅只产生了短短 20 年,但是它的发展是非常迅速的。 阅读全文
posted @ 2020-10-07 10:39 孙中明 阅读(84) 评论(0) 推荐(0) 编辑
摘要: 2020年9月23日 方案构思 1,获取trace出发点和目的地 2,获取出发点和目的点对应的经纬度坐标添加到trace中 3,获取到对应的street_number 4,将stree_number添加到trace的路径中 5,筛选路径出发点和目的地相同的分类 读取数据 trace = [] wit 阅读全文
posted @ 2020-09-24 20:50 孙中明 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 源码见:https://github.com/hiszm/hadoop-train Hadoop集群规划 HDFS: NN(NameNode) DN(DataNode) YARN: RM(ResourceManager) NM(NodeManager) hadoop000 192.168.43.20 阅读全文
posted @ 2020-09-10 23:53 孙中明 阅读(243) 评论(0) 推荐(0) 编辑
摘要: 源码见:https://github.com/hiszm/hadoop-train 外部表在Hive中的使用 带有EXTERNAL关键字的就是外部表 不然一般都是内部表(managed_table) CREATE EXTERNAL TABLE emp_external( empno INT, ena 阅读全文
posted @ 2020-09-10 23:52 孙中明 阅读(200) 评论(0) 推荐(0) 编辑
摘要: 源码见:https://github.com/hiszm/hadoop-train Hive概述 http://hive.apache.org/ Hive是什么 The Apache Hive ™ data warehouse software facilitates reading, writin 阅读全文
posted @ 2020-09-10 23:50 孙中明 阅读(265) 评论(0) 推荐(0) 编辑
摘要: 源码见:https://github.com/hiszm/hadoop-train 用户行为日志概述 用户每次搜索和点击的记录 历史行为数据,从历史订单 ==> 然后进行推荐/ 从而 提高用户的转化量 (最终目的) 日志内容 20979872853^Ahttp://www.yihaodian.com 阅读全文
posted @ 2020-09-10 23:48 孙中明 阅读(451) 评论(0) 推荐(0) 编辑
摘要: 源码见:https://github.com/hiszm/hadoop-train YARN产生背景 Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上,由 YARN 阅读全文
posted @ 2020-09-10 23:47 孙中明 阅读(269) 评论(0) 推荐(0) 编辑
摘要: 源码见:https://github.com/hiszm/hadoop-train 需求分析 access.log 第二个字段:手机号 倒数第三字段:上行流量 倒数第二字段:下行流量 需求:统计每个手机号上行流量和、下行流量和、总的流量和(上行流量和+下行流量和) Access.java 手机号、上 阅读全文
posted @ 2020-09-10 23:46 孙中明 阅读(235) 评论(0) 推荐(0) 编辑
摘要: 源码见:https://github.com/hiszm/hadoop-train 定义Mapper实现 WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> public class Mapper<KEYIN, 阅读全文
posted @ 2020-09-10 23:45 孙中明 阅读(442) 评论(0) 推荐(0) 编辑
摘要: 源码见:https://github.com/hiszm/hadoop-train MapReduce概述 是一个分布式计算框架 ,用于编写批处理应用程序。编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集。MapReduce 作业通过将输入的数据集拆分为独立的块,这些块由 ma 阅读全文
posted @ 2020-09-10 23:43 孙中明 阅读(185) 评论(1) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 27 下一页