09 2019 档案

深入理解计算机系统—链接——静态链接
摘要：程序执行前经历了啥当我们编写了一个程序，你想... 阅读全文
posted @ 2019-09-29 21:42 ongbo 阅读(132) 评论(0) 推荐(0)
sqoop配置使用
摘要：sqoop是啥sqoop本质是一个数据迁移工具，它关系导hadoop集群和关系数据库之间。它就是通过命令，将命令转换成MapReduce。没有啥高级的，就像hive一样，通过将sql命令转换成mapreduce了... 阅读全文
posted @ 2019-09-28 16:36 ongbo 阅读(33) 评论(0) 推荐(0)
用线性回归来找自己的男女朋友。。。。。
摘要：这个学期开了人工智能与大数据，刚开始看见这门课，觉得和大数据有关，正好是自己兴趣所在，一定要好好学，但是，好像并不是我想象的那样，整个课程比较偏向机器学习，也就是说从基础的学习，按道理说机器学习应该要另外开一门课... 阅读全文
posted @ 2019-09-22 14:01 ongbo 阅读(52) 评论(0) 推荐(0)
Hadoop File System
摘要：Hadoop分布式文件系统（HDFS）是一种旨在在商品硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的区别很明显。HDFS具有高度的容错能力，旨在部署在低成本硬件上... 阅读全文
posted @ 2019-09-21 15:31 ongbo 阅读(40) 评论(0) 推荐(0)
啥是map啥是reduce
摘要：mapredue是根据谷歌的三大论文里面的mapreduce paper的出来的一个hadoop计算引擎。我们现在可以说是ZB时代了，日益所需的大数据时代让我们不得不使用分布式存储，分布式计算，分布式调度。以往的... 阅读全文
posted @ 2019-09-19 21:00 ongbo 阅读(133) 评论(0) 推荐(0)
java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
摘要：hadoop@master:/usr/local/hadoop/spark/spark-data$ spark-submit --master spark:192.168.71.128:7077 --class ... 阅读全文
posted @ 2019-09-19 17:01 ongbo 阅读(90) 评论(0) 推荐(0)
hive常见问题（三）---Expression not in GROUP BY
摘要：FAILED: SemanticException [Error 10025]: Line 1:59 Expression not in GROUP BY key 'guid'最近在使用hive时会出现这样的问题... 阅读全文
posted @ 2019-09-17 19:44 ongbo 阅读(182) 评论(0) 推荐(0)
hive数据仓库（四）----select及其附属关键字用法
摘要：Group bygroup by是根据某一个字段对数据进行分组；比如我们这里有个数据我们针对job进行分组select job,count(*) from empp group by job;但是呢，一定要记住，... 阅读全文
posted @ 2019-09-10 21:11 ongbo 阅读(58) 评论(0) 推荐(0)
Hive数据仓库（三）----基础知识
摘要：前面讲了一些数据仓库的安装和DDL的基本使用以及hive的简单架构，只要你熟悉基本的sql，就能够进行基本的hive数据分析。当然，我们还是得区分一般传统数据库和hive，毕竟sql不能完全适用hive，一些基础... 阅读全文
posted @ 2019-09-09 20:49 ongbo 阅读(45) 评论(0) 推荐(0)
Hive数据仓库（二）----DDL
摘要：Data Definition Laguange俗称数据定义语言。hive的DDL操作包括了一些基本的建表和一些基本命令操作 基本操作查看数据库：show databases;使用某一个数据库：use tabl... 阅读全文
posted @ 2019-09-09 17:10 ongbo 阅读(30) 评论(0) 推荐(0)
针对hive选择单列查询时，用不用mapreduce
摘要：针对hive选择单列查询时，用不用mapreduce或者说哪些任务执行mapreducehive.fetch.task.conversion有more和minimalnone配置项，可以调节查询操作时用不用map... 阅读全文
posted @ 2019-09-08 18:55 ongbo 阅读(35) 评论(0) 推荐(0)
hive显示数据库名称和字段名称
摘要：显示数据库名称和字段名称修改hive-site配置文件显示查询出来数据的字段名称修改hive.cli.print.header是否在当前客户端中显示数据库名称和hive.cli.print.current.db就... 阅读全文
posted @ 2019-09-08 18:53 ongbo 阅读(133) 评论(0) 推荐(0)
hive元数据备份与还原
摘要：在生产环境中，有时候在数据迁移，或者转存数据以及其他操作时，可能会造成数据的丢失。所以对于hive，尤其数据量特别大的时候，对数据进行操作时，还是可能丢失数据的。我们要知道，对于hive，元数据存储在自带的der... 阅读全文
posted @ 2019-09-08 18:52 ongbo 阅读(207) 评论(0) 推荐(0)
hive常见问题（2）-Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=ro
摘要：Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=EXECUTE... 阅读全文
posted @ 2019-09-08 17:33 ongbo 阅读(47) 评论(0) 推荐(0)
hive常见问题（一）
摘要：hive在开启远程thrift服务供远程客户端访问后执行命令hive --service hiveserver2开启服务当客户端连接时!connect jdbc:hive2://......:10000会出现类似... 阅读全文
posted @ 2019-09-08 17:27 ongbo 阅读(28) 评论(0) 推荐(0)
Hive数据仓库（一）-----简介
摘要：这篇文章对hive一个简介，以后会对各部分，使用，还有使用遇到的问题都会反应的。感谢大家支持 数据仓库和数据库hive被称作数据仓库，逻辑上面和数据库一样，都是用来存取数据的。但是和数据库又有本质的区别。W.H... 阅读全文
posted @ 2019-09-08 10:51 ongbo 阅读(65) 评论(0) 推荐(0)
Flume使用
摘要：Flume的安装首先去官网下载，选择适合自己的版本进行下载。我下的是1.9.0的选择二进制版本然后将其弄到自己的Linux某一文件夹下将其解压，然后进入到conf目录下面，复制flume-env.sh这个文件的模... 阅读全文
posted @ 2019-09-06 19:56 ongbo 阅读(32) 评论(0) 推荐(0)