kk020306

摘要： 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文

摘要： 1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 3. 阅读全文

摘要： 1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 2. Spark已打造出结构一体化、功能多样化的大数据生态系统，请简述Spark生态系统。 3. 用图文描述你所理解的Spark运行架构，运行流程。 4. 软件平台准备：Linux-H 阅读全文

摘要： 使用sqoop进行将Hive 词频统计的结果数据传输到Mysql中。 mysql准备接受数据的数据库与表 hive准备待传输的数据 sqoop进行数据传输 mysql查看传输结果 先用测试文件做实验，成功后将电子书的统计结果传输出mysql中。 一.测试文件 1.mysql准备接受数据的数据库与表 阅读全文

摘要： 网站用户行为分析 1. 本地数据集上传到数据仓库Hive 数据集下载与查看 数据集预处理 把数据集导入HDFS中 在Hive上创建数据库 2. Hive数据分析 给出数据分析需求 用select语句实现数据分析 数据分析结果查看与保存 3. Hive、MySQL、HBase数据互导 1. 本地数据集 阅读全文

摘要： 一、hive用本地文件进行词频统计 1.准备本地txt文件 mkdir wccd wc echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop，启动hive start-all.sh jps hive 3.创建数据库，创 阅读全文

摘要： 使用HBase Shell命令 或 使用HBase Java API完成： 1.任务： 列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数。 2.关系型数据库中的表和数据（教材P9 阅读全文

摘要： 一.词频统计 1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 wget http://www.gutenberg.org/files/1342/1342-0.txt 2.编写map与reduce函数 #mapper.py #!/usr/bin/env python import sys 阅读全文

摘要： 本地文件系统创建一个文件，输入带姓名学号信息。 查看新建文件所在目录 查看新建文件内容 将此文件上传到HDFS文件系统上的用户目录 HDFS上查看相应目录 HDFS上查看文件内容 HDFS上查看文件大小 删除本地1步骤创建的文件 将HDFS上的文件下载到本地 查看本地文件目录 阅读全文

摘要： HDFS体系结构 写数据 读数据 安装SSH ，配置无密码SSH登录 阅读全文