bug_x - 博客园

将Linux命令的结果作为下一个命令的参数

摘要：查询所有的pid并杀死。 jps -l | grep bdcsc2-native-demo | awk '{print $1}' | xargs kill -9 KISS:keep it short and simple! 1. 符号：` `名称：反引号，上分隔符位置：反引号（`）这个字符一般在键盘阅读全文

posted @ 2021-10-19 14:29 bug_x 阅读(893) 评论(0) 推荐(0) 编辑

IDEA　java.lang.ClassNotFoundException

摘要：导致这种错误的原因由很多：我这次是Mark as Source Root. 解决办法: 阅读全文

posted @ 2021-10-18 14:10 bug_x 阅读(69) 评论(0) 推荐(0) 编辑

idea 无法创建Scala class 选项解决办法汇总（IDEA 编写SCALA 一）

摘要：原因一：没有添加scala sdk 解决：file=>project structure =>Global Libraries,添加scala-sdk: 没有scala sdk的可以去网上下载。再检查一下.iml文件是否添加了scala sdk，没有的话加上： <orderEntry type=" 阅读全文

posted @ 2021-10-15 17:32 bug_x 阅读(461) 评论(0) 推荐(0) 编辑

Spark数据倾斜解决方案

摘要： 1、原理以及现象分析1.1、数据倾斜怎么出现的在执行shuffle操作的时候，是按照key，来进行values的数据的输出、拉取和聚合的。同一个key的values，一定是分配到一个reduce task进行处理的。多个key对应的values，比如一共是90万。可能某个key对应了88万数据，被阅读全文

posted @ 2021-10-15 16:44 bug_x 阅读(205) 评论(0) 推荐(0) 编辑

Flume 问题 org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired. Unable to deliver event. Exception follows

摘要：参考链接：https://chengyanan.blog.csdn.net/article/details/108510878?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-3.no_ 阅读全文

posted @ 2021-10-14 15:18 bug_x 阅读(1010) 评论(0) 推荐(0) 编辑

flume HA实现

摘要： FailOver 一、Flume简单介绍Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务 1.1 FLume的基本组成Flume的组件主要包括三个:Source、Channel、Sink,其前后关系如图1所示。图11.2 SourceSource用来从数据源接收数据阅读全文

posted @ 2021-10-14 13:40 bug_x 阅读(143) 评论(0) 推荐(0) 编辑

js 原生模拟 jQuery trigger函数

摘要： <html> <script src="http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script> <script> //setTimeout("alert('对不起, 要你久候')", 3000 ) function trigger(el 阅读全文

posted @ 2021-10-12 10:02 bug_x 阅读(93) 评论(0) 推荐(0) 编辑

flume采集数据到hdfs上产生的问题及其优化方法

摘要： flume指定HDFS类型的Sink时，采集数据至HDFS指定目录，会产生大量小文件。解决方案：去掉round时间系列参数，并将rollSize和rollCount置0，表示不根据临时文件大小和event数量来滚动文件（滚动文件即指将HDFS上生成的以.tmp结尾的临时文件转换为实际存储文件）。当然阅读全文

posted @ 2021-10-08 11:45 bug_x 阅读(443) 评论(0) 推荐(0) 编辑

sql server查询中出现将字符串转换为 uniqueidentifier 时失败异常

摘要： sql server查询中出现将字符串转换为 uniqueidentifier 时失败异常原因为id设置为uniqueidentifier 字段，在where查询时需要做转换 cast(id as varchar(36))，例如 select * from test where cast(id 阅读全文

posted @ 2021-10-08 10:24 bug_x 阅读(303) 评论(0) 推荐(0) 编辑

SQLserver存储过程中in添加条件变量@A问题动态变量

摘要：可以把@AAA存到一个表变量里参考示例：本示例添加了2个动态变量 DECLARE @DATE DATE; SET @DATE = GETDATE( ); DECLARE @TA TABLE(col nvarchar(4000)); DECLARE @TA2 TABLE(col nvarchar 阅读全文

posted @ 2021-10-07 15:15 bug_x 阅读(363) 评论(0) 推荐(0) 编辑

导航

2021年10月19日

2021年10月18日

2021年10月15日

2021年10月14日

2021年10月12日

2021年10月8日

2021年10月7日