2019 年 7月随笔档案 - 大数据技术与数仓

摘要：错误1：Mysql数据库的tinyint(1)的字段(取值为0和1)，Sqoop会将tinyint(1)的字段视为booleans类型，导入到Hive时会将其转化为true或者false，这是因为默认情况下，mysql jdbc connector(连接器)将... 阅读全文

posted @ 2019-07-31 18:06 大数据技术与数仓阅读(115) 评论(0) 推荐(0)

摘要：解决方法：修改hive的元数据信息，进入hive的元数据库，以mysql为例，执行下面的命令： //修改表字段注解和表注解 alter table COLUMNS_V2 modify column COMMENT varcha... 阅读全文

posted @ 2019-07-30 17:17 大数据技术与数仓阅读(2002) 评论(0) 推荐(0)

摘要：1.配置 conf/flink-conf.yaml (1)env.java.home key: 配置jdk安装路径 (2)jobmanager.rpc.address: Master节点的地址 (3)jobmanager.heap.... 阅读全文

posted @ 2019-07-30 13:01 大数据技术与数仓阅读(161) 评论(0) 推荐(0)

Flink on YARN执行流程

摘要：前置： YARN客户端需要访问Hadoop的配置文件，从而能够连接到YARN资源管理器和HDFS。主要使用以下方式确定Hadoop的配置文件：测试是否按顺序配置了YARN_CONF_DIR，HADOOP_CONF_DIR或... 阅读全文

posted @ 2019-07-30 11:14 大数据技术与数仓阅读(339) 评论(0) 推荐(0)

正则表达式

摘要：1.正则表达式中的特殊字符 2.预定义字符 3.方括号表达式 4.边界匹配符 5.数量表示符正则表达式的数量标识符有如下几种模式（1）Greedy(贪婪模式)：数量表示符默认采用贪婪模式，除非另有表示。贪婪模式的表达式会一直匹配下去，直到无法匹配为... 阅读全文

posted @ 2019-07-24 10:17 大数据技术与数仓阅读(156) 评论(0) 推荐(0)

摘要：一、排序的分类 1.1内部排序：排序数据量较小，可以完全在内存中进行排序。冒泡排序法、选择排序法、插入排序法、合并排序法、快速排序法、堆积排序法、希尔排序法、基数排序法。 1.2外部排序：排序的数据量无法直接在内存中进行排序，需使用辅助存储器（硬盘）直接... 阅读全文

posted @ 2019-07-19 17:52 大数据技术与数仓阅读(112) 评论(0) 推荐(0)

大数据技术与数仓