摘要: .安装Hive 下载解压重命名权限 配置环境变量 $HIVE_HOME 修改Hive配置文件 gedit 配置mysql驱动 下载合适版本的mysql jar包,拷贝到/usr/local/hive/lib目录下 ls 在mysql新建hive数据库 show databases; 配置mysql允 阅读全文
posted @ 2021-12-21 00:37 小猪Ծ配平 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 1.用你最熟悉的编程环境,编写非分布式的词频统计程序。 读文件 分词(text.split列表) 按单词统计(字典,key单词,value次数) 排序(list.sort列表) 阅读全文
posted @ 2021-11-28 17:53 小猪Ծ配平 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 安装eclipse 打开eclipse 创建项目 添加的jar 创建JAVA CLASS 编辑 阅读全文
posted @ 2021-11-01 21:02 小猪Ծ配平 阅读(20) 评论(0) 推荐(0) 编辑
摘要: cd命令:切换目录 (1)切换到目录 /usr/local (2)去到目前的上层目录 (3)回到自己的主文件夹 ls命令:查看文件与目录 (4)查看目录/usr下所有的文件 mkdir命令:新建新目录 (5)进入/tmp目录,创建一个名为a的目录,并查看有多少目录存在 (6)创建目录a1/a2/a3 阅读全文
posted @ 2021-10-21 23:28 小猪Ծ配平 阅读(51) 评论(0) 推荐(0) 编辑
摘要: Hadoop思想与原理 Hadoop不是指具体一个框架或者组件,它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。Hadoop1.x中包括两个核心组件:MapReduce和Hadoop Distributed Fi 阅读全文
posted @ 2021-10-19 17:06 小猪Ծ配平 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 1、问:为什么产生大数据技术 答:由于人类进入信息时代,大量的数据整合需要花费大量的人力资源,而数据库的出现使得数据管理的复杂度大大降低,在实际使用中,数据库大多为运营系统所采用,作为运营系统的数据管理子系统,如超市的销售记录系统、银行的交易记录系统、医院病人的医疗记录等,而更进一步的大数据技术则与 阅读全文
posted @ 2021-09-06 20:46 小猪Ծ配平 阅读(38) 评论(0) 推荐(0) 编辑