随笔档案「2018年7月」 - meiLinYa

摘要：简单排序(冒泡排序,插入排序，选择排序)这些算法思想是比较简单的，执行速度也相对慢一些，不过，在某些情况下比那些复杂算法实际上还要好一些，比如，对于小规模的文件以及基本有序的文件，插入算法能比快速排序算法... 阅读全文

posted @ 2018-07-12 06:42 meiLinYa 阅读(187) 评论(0) 推荐(0)

摘要：javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.sejavax.net.ssl.SSLException: Unrecognized SSL mes... 阅读全文

posted @ 2018-07-11 21:54 meiLinYa 阅读(666) 评论(0) 推荐(0)

摘要：Azkaban工作流调度器在Hadoop领域常用的工作流调度系统 Oozie,Azkaban,Cascading,Hamake等等。性能对比：安装：创建... 阅读全文

posted @ 2018-07-10 21:33 meiLinYa 阅读(170) 评论(0) 推荐(0)

摘要：hive -- 自定义函数和Transform UDF操作单行数据, UDAF：聚合函数，接受多行数据，并产生一个输出数据行 UDTF：操作单个数据使用udf方法：第一种： add... 阅读全文

posted @ 2018-07-10 17:53 meiLinYa 阅读(293) 评论(0) 推荐(0)

摘要：hive -- 分区，分桶(创建，修改，删除)分区：静态创建分区： 1. 数据：john doe 10000.0mary smith 8000.0todd jones 7000.0boss ma... 阅读全文

posted @ 2018-07-09 23:47 meiLinYa 阅读(1039) 评论(0) 推荐(0)

posted @ 2018-07-09 23:00 meiLinYa 阅读(489) 评论(0) 推荐(0)

摘要：Hive - - 分组求最大，最小(加行键)数据：1325927 陕西汉中 084 08491325928 陕西汉中 084 08491325930 陕西延安 084 08421325931 陕西延安 0... 阅读全文

posted @ 2018-07-09 22:51 meiLinYa 阅读(460) 评论(0) 推荐(0)

摘要：hive的排序，分組练习数据：添加表和插入数据(数据在Linux本地中)create table if not exists tab1( IP string, S... 阅读全文

posted @ 2018-07-09 19:28 meiLinYa 阅读(243) 评论(0) 推荐(0)

摘要：Hive 外部表的练习hive创建库和表操作 hive加载数据，4种发放 1.数据放在Linux创建表结构进行加载 2.先定义表结构、将一个查询select语句... 阅读全文

posted @ 2018-07-09 11:47 meiLinYa 阅读(3253) 评论(0) 推荐(1)

摘要：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB conn... 阅读全文

posted @ 2018-07-09 08:26 meiLinYa 阅读(696) 评论(0) 推荐(0)

摘要：MapRdeuce&Yarn的工作机制一幅图解决你所有的困惑那天在集群中跑一个MapReduce的程序时，在机器上jps了一下发现了每台机器中有好多个YarnChild。困惑什么时Ya... 阅读全文

posted @ 2018-07-06 08:40 meiLinYa 阅读(1851) 评论(0) 推荐(0)

摘要：Hive介绍及安装介绍： Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展... 阅读全文

posted @ 2018-07-05 19:56 meiLinYa 阅读(193) 评论(0) 推荐(0)

摘要：海量日志采集Flume(HA)1.介绍: Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume... 阅读全文

posted @ 2018-07-04 20:57 meiLinYa 阅读(580) 评论(0) 推荐(0)

Array

摘要：数组数组使应用最广泛的数据存储结构。它被植入到大部分编程语言中用我的理解来说说数组吧。就行胡萝卜填坑一... 阅读全文

posted @ 2018-07-04 09:45 meiLinYa 阅读(270) 评论(0) 推荐(0)

摘要：综述数据结构和算法数据结构和算发的作用：数据结构是对在计算机内存中(又时在磁盘中)的数据的一种安排，数据结构包括数组，栈，二叉树，哈希表等等。苏算法... 阅读全文

posted @ 2018-07-04 08:31 meiLinYa 阅读(153) 评论(0) 推荐(0)

摘要：MapRedcue的演示（协同过滤）做一个关于电影推荐。你于你好友之间的浏览电影以及电影评分的推荐的协同过滤。百度百科：协同过滤简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来... 阅读全文

posted @ 2018-07-02 15:18 meiLinYa 阅读(369) 评论(0) 推荐(0)