2021 年 10月随笔档案 - bug_x

数据分析常用sql

摘要：1、Mysql 在sql 语句中的执行顺序是 from 、where 、order by、select coalesce(), with rollup select coalesce(t.name,'总'),sum(t.v) from (select '小丽' as name,1 as v UNIO 阅读全文

posted @ 2021-10-27 17:14 bug_x 阅读(248) 评论(0) 推荐(0)

hbase 与hadoop 版本对应关系

摘要：https://hbase.apache.org/book.html#hadoop 阅读全文

posted @ 2021-10-19 14:47 bug_x 阅读(870) 评论(0) 推荐(0)

将Linux命令的结果作为下一个命令的参数

摘要：查询所有的pid并杀死。 jps -l | grep bdcsc2-native-demo | awk '{print $1}' | xargs kill -9 KISS:keep it short and simple! 1. 符号：` `名称：反引号，上分隔符位置：反引号（`）这个字符一般在键盘阅读全文

posted @ 2021-10-19 14:29 bug_x 阅读(973) 评论(0) 推荐(0)

IDEA　java.lang.ClassNotFoundException

摘要：导致这种错误的原因由很多：我这次是Mark as Source Root. 解决办法: 阅读全文

posted @ 2021-10-18 14:10 bug_x 阅读(89) 评论(0) 推荐(0)

idea 无法创建Scala class 选项解决办法汇总（IDEA 编写SCALA 一）

摘要：原因一：没有添加scala sdk 解决：file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。再检查一下.iml文件是否添加了scala sdk，没有的话加上： <orderEntry type=" 阅读全文

posted @ 2021-10-15 17:32 bug_x 阅读(646) 评论(0) 推荐(0)

Spark数据倾斜解决方案

摘要：1、原理以及现象分析1.1、数据倾斜怎么出现的在执行shuffle操作的时候，是按照key，来进行values的数据的输出、拉取和聚合的。同一个key的values，一定是分配到一个reduce task进行处理的。多个key对应的values，比如一共是90万。可能某个key对应了88万数据，被阅读全文

posted @ 2021-10-15 16:44 bug_x 阅读(276) 评论(0) 推荐(0)

Flume 问题 org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired. Unable to deliver event. Exception follows

摘要：参考链接：https://chengyanan.blog.csdn.net/article/details/108510878?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-3.no_ 阅读全文

posted @ 2021-10-14 15:18 bug_x 阅读(1434) 评论(0) 推荐(0)

flume HA实现

摘要：FailOver 一、Flume简单介绍Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务 1.1 FLume的基本组成Flume的组件主要包括三个:Source、Channel、Sink,其前后关系如图1所示。图11.2 SourceSource用来从数据源接收数据阅读全文

posted @ 2021-10-14 13:40 bug_x 阅读(196) 评论(0) 推荐(0)

js 原生模拟 jQuery trigger函数

摘要：<html> <script src="http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script> <script> //setTimeout("alert('对不起, 要你久候')", 3000 ) function trigger(el 阅读全文

posted @ 2021-10-12 10:02 bug_x 阅读(123) 评论(0) 推荐(0)

flume采集数据到hdfs上产生的问题及其优化方法

摘要：flume指定HDFS类型的Sink时，采集数据至HDFS指定目录，会产生大量小文件。解决方案：去掉round时间系列参数，并将rollSize和rollCount置0，表示不根据临时文件大小和event数量来滚动文件（滚动文件即指将HDFS上生成的以.tmp结尾的临时文件转换为实际存储文件）。当然阅读全文

posted @ 2021-10-08 11:45 bug_x 阅读(547) 评论(0) 推荐(0)

sql server查询中出现将字符串转换为 uniqueidentifier 时失败异常

摘要：sql server查询中出现将字符串转换为 uniqueidentifier 时失败异常原因为id设置为uniqueidentifier 字段，在where查询时需要做转换 cast(id as varchar(36))，例如 select * from test where cast(id 阅读全文

posted @ 2021-10-08 10:24 bug_x 阅读(434) 评论(0) 推荐(0)

SQLserver存储过程中in添加条件变量@A问题动态变量

摘要：可以把@AAA存到一个表变量里参考示例：本示例添加了2个动态变量 DECLARE @DATE DATE; SET @DATE = GETDATE( ); DECLARE @TA TABLE(col nvarchar(4000)); DECLARE @TA2 TABLE(col nvarchar 阅读全文

posted @ 2021-10-07 15:15 bug_x 阅读(413) 评论(0) 推荐(0)

vscode 列编辑

摘要：光标移动到第一行行首，按住ALT+SHIFT 如下图：参考链接:https://blog.csdn.net/sgdd123/article/details/80701262?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7 阅读全文

posted @ 2021-10-06 13:43 bug_x 阅读(144) 评论(0) 推荐(0)

sqlserver 保留2位小数的写法

摘要：SELECT CAST ( TotalTargetCost AS NUMERIC ( 18, 2 ) ) aa, FROM dwca WITH ( NOLOCK ) WHERE id = 'CD41D15F-7781-41D2-32AC-08D84A19C12D' 阅读全文

posted @ 2021-10-06 11:09 bug_x 阅读(278) 评论(0) 推荐(0)

导航

10 2021 档案