dairui130

shell 命令 netstat 查看端口占用

摘要：查看 8888端口的占用情况阅读全文

posted @ 2019-03-20 14:29 dairui130 阅读(2644) 评论(0) 推荐(0)

hive 修复分区、添加二级分区

摘要：我们在之前的文章中，介绍了二级分区，混合分区，静态分区，动态分区的区别和建表。今天我们聊下，当我们建好分区表。并且通过程序在表的分区目录（location）下，写入了文件。如何在hive中查询到插入的分区数据。假如我们直接查表，会发现因为没有在表的元数据中加入新增的分区信息，导致查不到数据。阅读全文

posted @ 2019-03-19 20:44 dairui130 阅读(2822) 评论(0) 推荐(0)

hive sql 查询一张表的数据不在另一张表中

摘要：有时，我们需要对比两张表的数据，找到在其中一张表，不在另一张表中的数据 hql 如下：阅读全文

posted @ 2019-03-18 15:26 dairui130 阅读(6476) 评论(0) 推荐(0)

shell 命令 bc linux下的计算器

摘要： bc命令在linux环境下的计算器。阅读全文

posted @ 2019-03-18 14:49 dairui130 阅读(175) 评论(0) 推荐(0)

shell 命令 grep -v

摘要： grep -v shell命令中，grep命令，是对文本行的搜索命令。grep -v就是反向文本行搜索。当控制台输出很多时，有很多是我们不想看到的，就可以用到grep -v命令举个栗子：ls -l 结果如下：我们不想看到包含repair的行，执行如下的命令：结果如下：结合管道，grep - 阅读全文

posted @ 2019-03-17 17:31 dairui130 阅读(12325) 评论(0) 推荐(1)

shell 命令 -- 漂亮的资源查看命令 htop

摘要： htop 相较top，htop更加直接和美观。阅读全文

posted @ 2019-03-15 15:58 dairui130 阅读(224) 评论(0) 推荐(0)

shell 命令 --ps aux | grep

摘要： ps aux | grep 要查询的进程名查询当前进程，如确认过需要查询的进程，就可以进行 kill -9 进程号等操作了。阅读全文

posted @ 2019-03-15 15:51 dairui130 阅读(1255) 评论(0) 推荐(0)

presto调研和json解析函数的使用

摘要： presto简单介绍 presto是一个分布式的sql交互式查询引擎。可以达到hive查询效率的5到10倍。支持多种数据源的秒级查询。 presto是基于内存查询的，这也是它为什么查询快的原因。除了基于内存，presto还使用了向量计算，动态编译执⾏计划优化的ORC和Parquet Reade 阅读全文

posted @ 2019-03-15 14:35 dairui130 阅读(23068) 评论(0) 推荐(0)

shell wc -l

摘要： shell 命令之 wc -l 给出一个比较常用的命令：查询当前文件夹下的文件的总行数。原理就是统计了文件中换行符的数量。阅读全文

posted @ 2019-03-14 21:31 dairui130 阅读(722) 评论(0) 推荐(0)

hive 动态分区与混合分区

摘要： hive的分区概念，相信大家都非常了解了。通过将数据放在hdfs不同的文件目录下，查表时，只扫描对应分区下的数据，避免了全表扫描。提升了查询效率。关于hive分区，我们还会用到多级分区、动态分区、混合分区，这些概念是什么含义，又该在何时使用呢？静态分区先说下静态分区。静态分区就是人为指定分区阅读全文

posted @ 2019-03-13 10:26 dairui130 阅读(2656) 评论(0) 推荐(0)

导航

公告