PEAR2020

2020年11月13日

hive报错之 FAILED: ParseException line 1:50 mismatched input '-' expecting ) near '2018' in add partition statement

摘要： hive -e "use ods_sales_source;alter table ods_start_order add partition(ymd=‘2018-10-10’)" 解决办法：add partition(ymd=‘ 20181010 ’) 阅读全文

posted @ 2020-11-13 16:03 PEAR2020 阅读(3741) 评论(0) 推荐(0)

hive 之 Hive中怎样强制删除数据库

摘要：若使用drop [database] if exists [database Name]语句删除数据库，若数据库中有表，则无法删除；如果想强制删除，则可以使用语句： drop database dbname cascade; 阅读全文

posted @ 2020-11-13 14:55 PEAR2020 阅读(1169) 评论(0) 推荐(0)

2020年11月12日

Mysql之 mysql中的delete , drop 和truncate 区别

摘要：阅读全文

posted @ 2020-11-12 22:42 PEAR2020 阅读(75) 评论(0) 推荐(0)

Mysql之约束 & 数据库的模式

摘要：一、约束详情见: https://blog.csdn.net/w_linux/article/details/79655073 Mysql不支持第五种检查约束CHECK （一）非空约束(not null) （二）唯一性约束(unique) 1、表级约束：email varchar(128) uni 阅读全文

posted @ 2020-11-12 22:36 PEAR2020 阅读(185) 评论(0) 推荐(0)

数据仓库之案例（基础篇）

摘要：一、销售案例步骤（一）ODS层建立源数据库并生成初始的数据在Hive中创建源数据过渡区和数据仓库的表日期维度的数据装载数据的ETL => 进入dwd层，本案例简单，不需要清洗（二）DW层 dwd层：ETL清洗，本案例不需要 dws层：建模型+轻聚合，本案例只需要建模型，太简单，不需要聚合阅读全文

posted @ 2020-11-12 17:20 PEAR2020 阅读(2916) 评论(0) 推荐(0)

Mysql之存储过程 & 函数

摘要：一、存储过程定义：一组可编程的函数，是为了完成特定功能的SQL语句集，经编译创建并保存在数据库中，用户可通过指定存储过程的名字并给定参数(需要时)来调用执行。优点：1.简化重复调用2.批量处理3.统一接口，保证数据安全 1、创建和调用详情可见：https://www.cnblogs.com/g 阅读全文

posted @ 2020-11-12 15:47 PEAR2020 阅读(176) 评论(0) 推荐(1)

sqoop报错之 ERROR tool.ImportTool: Import failed: Partition key orddate cannot be a column to import.

摘要：出错原句为： sqoop import \ --connect jdbc:mysql://192.168.56.111:3306/test \ --driver com.mysql.jdbc.Driver \ --query "select * from orders where orddate = 阅读全文

posted @ 2020-11-12 10:30 PEAR2020 阅读(713) 评论(0) 推荐(0)

2020年11月11日

sqoop报错之从mysql导入数据到hive查询全部为null

摘要：详见：https://blog.csdn.net/a904364908/article/details/99704907 >>> 分隔符为： FIELDS TERMINATED BY '\t' ，而从postgresql或者mysql来的数据的分隔符则应该为： FIELDS TERMINATED B 阅读全文

posted @ 2020-11-11 17:57 PEAR2020 阅读(494) 评论(0) 推荐(0)

sqoop报错之Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader

摘要：把hive-jdbc-1.1.0-cdh5.14.2-standalone加入sqoop的lib中阅读全文

posted @ 2020-11-11 17:28 PEAR2020 阅读(593) 评论(0) 推荐(0)

sqoop报错之ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

摘要：引用：https://www.cnblogs.com/30go/p/9517162.html 解决：缺少了hive-common-2.3.3.jar包，在hive的lib目录下，拷贝到sqoop的lib目录下即可。阅读全文

posted @ 2020-11-11 17:03 PEAR2020 阅读(840) 评论(0) 推荐(0)

公告