摘要： 大数据hive的基本操作以及建立数据库，单词的统计 创建数据库① 创建数据库hivehive> create database hive;② 创建数据库hive，因为hive已经存在，所以会抛出异常，加上if not exists关键字，则不会抛出异常hive> create database if 阅读全文

摘要： 大数据spark的安装 用hadoop用户登录Linux系统，打开一个终端，执行如下命令：$cd ~$ sudo tar -zxvf ~/Downloads/spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/$ cd /usr/local$ sudo 阅读全文

摘要： 大数据hive的配置 可以把hive命令加入到环境变量PATH中，从而可以在任意目录下直接使用hive命令启动，请使用vim编辑器打开“~/.bashrc”文件进行编辑，命令如下：$ vim ~/.bashrc在该文件的最前面一行添加如下内容：export HIVE_HOME=/usr/local/ 阅读全文

摘要： 电视剧《天道》中展示了格律诗乐器的制作过程，让我们深入了解这门古老艺术的经典之道。在这篇博客中，我们将探讨格律诗乐器的生产流程及其质量控制流程，并结合软件工程专业的知识，提取出一些有启示性的经验。让我们一起走进这个古老而神奇的世界。 第一部分：格律诗乐器的生产流程 需求分析与规划：在制作格律诗乐器之 阅读全文

摘要： 1） 项目名称：信息化领域热词分类分析及解释 2） 功能设计： 1) 数据采集：要求从定期自动从网络中爬取信息领域的相关热 词； 2) 数据清洗：对热词信息进行数据清洗，并采用自动分类技术 生成信息领域热词目录，； 3) 热词解释：针对每个热词名词自动添加中文解释（参照百度 百科或维基百科）； 4) 阅读全文

摘要： 1. 项目名称：信息化领域热词分类分析及解释 2. 功能设计： 1) 数据采集：要求从定期自动从网络中爬取信息领域的相关热 词； 2) 数据清洗：对热词信息进行数据清洗，并采用自动分类技术 生成信息领域热词目录，； 3) 热词解释：针对每个热词名词自动添加中文解释（参照百度 百科或维基百科）； 4) 阅读全文

摘要： 本周重新配置了centos7.5的虚拟机，为学习Hadoop做准备，初步学习了大数据的基本概念对，MapReduce、yarn、hdfs有了初步了解， 完整的词频统计程序import java.io.IOException;import java.util.Iterator;import java. 阅读全文

摘要： hdfs的操作 1. 目录操作需要注意的是，Hadoop系统安装好以后，第一次使用HDFS时，需要首先在HDFS中创建用户目录。本教程全部采用hadoop用户登录Linux系统，因此，需要在HDFS中为hadoop用户创建一个用户目录，命令如下：$ cd /usr/local/hadoop$ ./b 阅读全文

摘要： 今天学习了大数据的一些基本的概念。 什么是Hadoop： 大数据主要还是解决海量数据的存储和海量数据的分析计算。 大数据的特点：大量、高效、多样（结构化数据和非结构化数据）、低价值密度。 Hadoop的三大发行版本： Apache、cloundera、hortonworks。 当然现在clounde 阅读全文

摘要： 大数据学习 一、开始学习Hadoop安装 Ubuntu默认已安装了SSH客户端，因此，这里还需要安装SSH服务端，请在Linux的终端中执行以下命令：$ sudo apt-get install openssh-server安装后，可以使用如下命令登录本机：$ ssh localhost执行该命令后 阅读全文