权。

摘要： 今天进行了Sqoop的安装部署工作。 1、导入Sqoop的tar包到/export/server下,并进行解压。 cd export/servers 进入相应目录 tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 解压Sqoop包 mv sqoo 阅读全文

摘要： 今天跟着视频学习了大数据里面的可视化数据分析。我感觉难点其实还是在sql的数据分析上，需要对数据进行清洗，分析，整理出新表，最后之间导入表格就可以做出可视化表格，重点还是SQL。对于一些SQL写法一定要熟悉，还要Hive仓库提供的内置函数。 下面时我做的报表。 阅读全文

摘要： 上周主要学习了hadoop相关的知识，因为是在虚拟机上安装的hadoop，所以还学习了linux的一些常用的命令，对于文件系统有了更深的理解。后面配置了hadoop环境以及hive仓库，并通过远程登录连接hive仓库。 下一周要继续学习hadoop相关知识。 阅读全文

摘要： Hive 常用的内置函数 show functions;describe function extended count; String Functions 字符串函数 select length("itcast");select reverse("itcast");select concat("a 阅读全文

摘要： start-all.sh 启动hadoop服务yarn nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore & 启动Hive第一代客户端 nohup /export/server/apache-hive-3. 阅读全文

摘要： Hive使用Load进行加载数据操作分为两种情况。第一种是文件在虚拟机本地，另一种是文件在HDFS文件系统根目录。对应两种情况，底层也会进行复制、移动操作。 虚拟机本地加载 这里事先将txt文件放到了root的hivedata目录下。 -- 从本地加载数据 数据位于HS2（node1）本地文件系统 阅读全文

摘要： 这里我使用的是DataGrip可视化工具。 第一次跟视频操作主要熟悉并记录一下流程。 先在虚拟机node3上创建一个数据库wjb 0: jdbc:hive2://node1:10000> create database wjb; 在数据库里创建表格，使用DataGrip工具 --1、创建一张表，将射 阅读全文

摘要： 1、创建文件夹 hadoop fs -mkdir [-p] ... path 为待创建的目录 -p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。 hadoop fs -mkdir -p /wjb/itcast 2、查看指定目录下内容 hadoop fs -ls [-h] [ 阅读全文

摘要： Linux常用命令大全（非常全！！！） 最近都在和Linux打交道，感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制，当然，这也是很多人喜欢linux的原因，比较短小但却功能强大。我将我了解到的命令列举一下，仅供大家参考： 系统信息 arch 显示机器的处理器架构 阅读全文

摘要： 今天按照黑马的视频和课程资料安装了三台Centos的linux虚拟机，步骤非常简单但是视频提示会有很多踩坑的点，我就比较顺利从VMware安装到激活，网络的配置以及虚拟机的安装都非常顺利，三台虚拟机的网络也完成了搭建。 阅读全文