文章分类 - 工作经验总结
工作中遇到的问题和学习笔记
摘要：关于 or 和 and 使用时的短路问题 如下图所示： 下面的代码中or会短路掉后面的and
阅读全文
摘要：concat() 函数中的字符串套 nvl() 函数的重要性
阅读全文
摘要：Shell 介紹 本书来源：开源书籍：Shell 编程范例 (by 泰晓科技) Shell 编程范例 v 0.2 不同于传统 Shell 书籍，本书并未花大篇幅去介绍 Shell 语法，而是以面向“对象” 的方式引入大量的实例介绍 Shell 日常操作，“对象” 涵盖数值、逻辑值、字符串、文件、进程
阅读全文
摘要：在impala中建立hbase的外表 Impala是Cloudera 开发的所以在CDH大数据环境下 安装简单，CDH自己集成了Impala Impala可以通过Hive外部表方式和HBase进行整合，步骤如下： 步骤1：创建hbase 表，向表中添加数据 create 'test_info', '
阅读全文
摘要：连接 mysql 的命令 一、MySQL 连接本地数据库，用户名为“root”，密码“123”（注意：“-p”和“123” 之间不能有空格） C:>mysql -h localhost -u root -p123 二、MySQL 连接远程数据库（xxx.xxx.0.xxx），端口“3306”，用户名
阅读全文
摘要：Markdown 语法快速入门手册 Markdown 是一种轻量级标记语言，能将文本换成有效的XHTML(或者HTML)文档，它的目标是实现易读易写，成为一种适用于网络的书写语言。 Markdown 语法简洁明了，易于掌握，所以用它来写作是件既效率又舒服的事情。我们所熟知的和一些大型CMS，如Joo
阅读全文
摘要：Hive 安装 所有Hadoop的子项目，如Hive, Pig,和HBase，都需要Linux的操作系统。因此，需要安装Linux OS。以下是为Hive的安装执行的简单步骤： 第1步：验证JAVA安装 在Hive安装之前，Java必须在系统上已经安装。使用下面的命令来验证是否已经安装Java： $
阅读全文
摘要：impala 概述 什么是Impala？ Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。 换句话说，Impala是性能最高的SQL引擎（提供
阅读全文
摘要：HBase Shell命令大全 一：简介 HBase的名字的来源于Hadoop database，即hadoop数据库，不同于一般的关系数据库，它是非结构化数据存储的数据库，而且它是基于列的而不是基于行的模式。 HBase是一个分布式的、面向列的、基于Google Bigtable的开源实现。 利用
阅读全文
摘要：markdown 表格内换行 可以用html的代码，插入代码<br> 例1： markdown代码： |姓名|爱好| --|--| 张三|足球、篮球 李四|羽毛球、乒乓球 显示为： | 姓名 | 爱好 | | | | | 张三 | 足球、篮球 | | 李四 | 羽毛球、乒乓球 | 例2：修改上述代码
阅读全文
摘要：Hive 常用函数大全 在 hive 中可通过以下命令查看函数信息： --显示所有的可用函数，包括运算符、内置函数、自定义函数 show functions; --显示指定函数的描述信息 desc function trim; --显示指定函数的详细信息 desc function extended
阅读全文
摘要：python3 中的reload（sys）和sys.setdefaultencoding('utf-8') 通常我们为了防止出现乱码会进行一下操作 import sys reload(sys) sys.setdefaultencoding(‘utf-8’) 但这是python2的写法，但是在pyth
阅读全文
摘要：Python encode()和decode()方法：字符串编码转换 Python 3.x 默认采用 UTF-8 编码格式，有效地解决了中文乱码的问题。 Python encode()方法 encode() 方法为字符串类型（str）提供的方法，用于将 str 类型转换成 bytes 类型，这个过程
阅读全文
摘要：vim 删除文件中所有内容的方法 (：代表要切换到命令模式输入：之后的命令) (1) :%d 不管光标在哪里，删除所有 (2) gg dG gg的意思是光标切换到第一行
阅读全文
摘要：Kudu在使用过程中的各种限制 参考文章：Kudu在使用过程中的各种限制 主键 表创建后，主键不能修改。必须删除重建表指定新的主键。 主键列必须在非主键列之前 主键列的值不能使用UPDATE函数修改。如果要修改主键的值只能删除该行重新插入。 DOUBLE、FLOAT或BOOL类型的列不能作为主键，此
阅读全文
摘要：kudu分区（HASH、RANGE、HASH&RANGE） 1、分区表支持hash分区和range分区，根据主键列上的分区模式将table划分为 tablets 。每个 tablet 由至少一台 tablet server提供。理想情况下，一张table分成多个tablets分布在不同的tablet
阅读全文
摘要：在MySQL中使用cast函数报错 ; MySQL 类型转换函数 CONVERT() ; MySQL cast() 和 CONVERT() 的区别 MySQL 不支持 hive 和 impala 的类型转换函数 -- cast() 将cast()换成CONVERT()就不会报错了 或者使用cast(
阅读全文
摘要：kudu表分区查看、添加、删除 --分区查看、添加、删除 show range partitions XXX.XXX_t ALTER TABLE XXX.XXX_t ADD RANGE PARTITION 20191001000000 <= VALUES < 20191101000000; alte
阅读全文
摘要：如何优雅的通过SQL表示月底 假如今天的时间为 那么可以通过interval关键字和date_sub()函数来表示月底 例如上个月月底： 本月月底：
阅读全文
摘要：IDEA设置项目、模块等的JDK环境和项目语言等级 最近导入新项目时,使用了jdk8的特性-lambda表达式,结果环境报红,记录一下修复过程. 问题描述： // 伪代码 List<User> users = primaryUserMapper.selectList(null); List<Inte
阅读全文
浙公网安备 33010602011771号