摘要: 在Ubuntu中实现运行。 准备txt文件 编写py文件 python3运行py文件分析txt文件。 2.用MapReduce实现词频统计 2.1编写Map函数 编写mapper.py 授予可运行权限 本地测试mapper.py 2.2编写Reduce函数 编写reducer.py 授予可运行权限 阅读全文
posted @ 2021-12-24 10:41 Future8 阅读(71) 评论(0) 推荐(0)
摘要: 一.安装Hive 下载解压重命名权限 (1)解压安装 (2)重命名权限 2.配置环境变量 3.修改Hive配置文件 4.配置mysql驱动 1.下载合适版本的mysql jar包,拷贝到/usr/local/hive/lib目录下 2.在mysql新建hive数据库 3.配置mysql允许hive接 阅读全文
posted @ 2021-12-24 10:37 Future8 阅读(41) 评论(0) 推荐(0)
摘要: . 安装Hive 下载解压重命名权限 配置环境变量 $HIVE_HOME 修改Hive配置文件 gedit 配置mysql驱动 下载合适版本的mysql jar包,拷贝到/usr/local/hive/lib目录下 ls 在mysql新建hive数据库 show databases; 配置mysql 阅读全文
posted @ 2021-12-24 10:31 Future8 阅读(25) 评论(0) 推荐(0)
摘要: 1.理解HBase表模型及四维坐标:行键、列族、列限定符和时间戳。 2.启动HDFS,启动HBase,进入HBaseShell命令行。 3.列出HBase中所有的表信息list 4.创建表create 5.查看表详情desc 6.插入数据put 7.查看表数据scan 8.多版本实验:修改列族版本数 阅读全文
posted @ 2021-12-21 14:07 Future8 阅读(29) 评论(0) 推荐(0)
摘要: 1.理解HBase表模型及四维坐标:行键、列族、列限定符和时间戳。 2.启动HDFS,启动HBase,进入HBaseShell命令行。 3.列出HBase中所有的表信息list 4.创建表create 5.查看表详情desc 6.插入数据put 7.查看表数据scan 8.多版本实验:修改列族版本数 阅读全文
posted @ 2021-12-21 14:06 Future8 阅读(18) 评论(0) 推荐(0)
摘要: 一、在Ubuntu系统中安装和配置Eclipse 二、利用hadoop 的java api,向HDFS写一个文件。 三、从HDFS读取一个文件的内容。 阅读全文
posted @ 2021-11-02 14:34 Future8 阅读(25) 评论(0) 推荐(0)
摘要: 1.用图与自己的话,简要描述Hadoop起源与发展阶段。Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性,正是这些设计上与生俱来的优点,才使得Hadoop 一出现就受到众多大公司的青睐,同时也引起了研究界的普遍关注。Hadoop 技术在互联网领域已经得到了广泛的运用,例如, 阅读全文
posted @ 2021-10-29 14:22 Future8 阅读(25) 评论(0) 推荐(0)
摘要: 按要求上机实践如下linux基本命令。 阅读全文
posted @ 2021-09-27 19:29 Future8 阅读(16) 评论(0) 推荐(0)
摘要: 1.安装虚拟机 下载 01 VirtualBox-6.1.16-140961-Win.exe,并安装完成。 2.安装Linux操作系统 下载02 ubuntukylin-16.04-desktop-amd64.iso,准备好等统一安装。 阅读全文
posted @ 2021-09-16 19:36 Future8 阅读(29) 评论(0) 推荐(0)
摘要: 大数据是基础,云计算是方法,物联网是数据来源,人工智能基于云计算平台完成深度学习,区块链保证数据安全分类 阅读全文
posted @ 2021-09-10 15:20 Future8 阅读(127) 评论(0) 推荐(0)