bug_x - 博客园

with rollup

摘要： select coalesce(t.name,'总'),sum(t.v) from (select '小丽' as name,1 as v UNION ALL select '小丽' as name,2 as v ) t group by t.name with ROLLUP with ROLLUP 阅读全文

posted @ 2021-09-09 15:15 bug_x 阅读(63) 评论(0) 推荐(0) 编辑

sqlserver 行列转换

摘要：我们在写Sql语句的时候没经常会遇到将查询结果行转列，列转行的需求，拼接sql字符串，然后使用sp_executesql执行sql字符串是比较常规的一种做法。但是这样做实现起来非常复杂，而在SqlServer2005中我们有了PIVOT/UNPIVOT函数可以快速实现行转列和列转行的操作。 PIVO 阅读全文

posted @ 2021-09-03 18:23 bug_x 阅读(395) 评论(0) 推荐(1) 编辑

pyspider all 报错解决方法

摘要：于新版本的Python中引入了关键字async，所以在安装好pyspider库之后运行pyspider all 会报错，如下图所示（他人的图）。解决方法：按照报错的路径，找到anaconda\lib\site-packages\pyspider，进入后将run.py中的async查找，全部替换为a 阅读全文

posted @ 2021-04-02 14:05 bug_x 阅读(398) 评论(0) 推荐(0) 编辑

scala spark streaming 打印kafka 数据

摘要： how-to-fix-java-io-notserializableexception-org-apache-kafka-clients-consumer The Kafka Consumer record object is received from Dstream. When you try 阅读全文

posted @ 2020-12-30 20:14 bug_x 阅读(395) 评论(0) 推荐(0) 编辑

Kafka 与 Flume 如何选择

摘要：采集层主要可以使用Flume, Kafka两种技术。 Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API. Kafka：Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics 阅读全文

posted @ 2020-12-29 10:31 bug_x 阅读(149) 评论(0) 推荐(0) 编辑

Scala map中下划线_._2的含义

摘要：查询了相关资料后，并做了基本测试，确认.map(_._2)的含义如下 map(_._n)表示任意元组tuple对象,后面的数字n表示取第几个数.(n>=1的整数)val p=List((“hello”,35,1.50),(“nihao”,36,1.78))res9: List[(String, In 阅读全文

posted @ 2020-12-28 16:48 bug_x 阅读(421) 评论(0) 推荐(0) 编辑

Spark中reduceByKey(_+_)的说明

摘要：比如我的内存中存在如下的以key-value形式的数据集（RDD）： hello:1 sparkSubmit:1 red:1 sparkSubmit:1 hello:2 hello:1 hello:4 red:1 red:1 red:1 ... ... reduceByKey的作用对象是(key, 阅读全文

posted @ 2020-12-28 14:04 bug_x 阅读(221) 评论(0) 推荐(0) 编辑

spark 内存设置

摘要： val spark = SparkSession .builder.master("local").config("spark.testing.memory", "2147480000") .appName("HdfsTest") .getOrCreate() val spark = SparkSe 阅读全文

posted @ 2020-12-24 14:17 bug_x 阅读(492) 评论(0) 推荐(0) 编辑

windows spark3.1 hdfs 测试

摘要： class SparkTest { } import java.util.concurrent.TimeUnit import org.apache.spark.sql.SparkSession object SparkDemo { def main(args: Array[String]) { p 阅读全文

posted @ 2020-12-24 13:34 bug_x 阅读(113) 评论(0) 推荐(0) 编辑

@Autowired、@Resource、和@Service注解详解

摘要：注解之前spring怎么装配bean 传统的Spring做法是使用.xml文件来对bean进行注入或者是配置aop、事务。我们先看一个不使用注解的Spring示例，在这个示例的基础上，改成注解版本的，这样也能看出使用与不使用注解之间的区别，先定义一个老师： public class Teacher{ 阅读全文

posted @ 2020-12-23 15:28 bug_x 阅读(348) 评论(0) 推荐(0) 编辑

导航

2021年9月9日

2021年9月3日

2021年4月2日

2020年12月30日

2020年12月29日

2020年12月28日

2020年12月24日

2020年12月23日