摘要：
问题描述:在IDEA中的一个Project在运行某个module里面的类的时候报了如下错误: 经过排查发现这个问题是在项目中不同的module设置了不同版本的编译器造成的 把后面的jdk的版本统一设置成一个版本即可 阅读全文
posted @ 2018-06-04 14:41
大葱拌豆腐
阅读(293)
评论(0)
推荐(0)
摘要：
Spark Session中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。 可以参考，Scala提供的DataFrame API。本文中的代码基于Spark-2.2的文档实现。 一、DataFrame对象的 阅读全文
posted @ 2018-04-23 22:58
大葱拌豆腐
阅读(739)
评论(0)
推荐(0)
摘要：
转载自：https://blog.csdn.net/u012297062/article/details/52227909 UDF: User Defined Function，用户自定义的函数，函数的输入是一条具体的数据记录，实现上讲就是普通的Scala函数；UDAF：User Defined A 阅读全文
posted @ 2018-04-23 22:14
大葱拌豆腐
阅读(516)
评论(0)
推荐(0)
摘要：
下划线这个符号几乎贯穿了任何一本Scala编程书籍，并且在不同的场景下具有不同的含义，绕晕了不少初学者。正因如此，下划线这个特殊符号无形中增加Scala的入门难度。本文希望帮助初学者踏平这个小山坡。 1. 用于替换Java的等价语法 由于大部分的Java关键字在Scala中拥有了新的含义，所以一些基 阅读全文
posted @ 2018-04-23 22:00
大葱拌豆腐
阅读(300)
评论(0)
推荐(0)
摘要：
Spark Sql提供了丰富的内置函数供猿友们使用，辣为何还要用户自定义函数呢？实际的业务场景可能很复杂，内置函数hold不住，所以spark sql提供了可扩展的内置函数接口：哥们，你的业务太变态了，我满足不了你，自己按照我的规范去定义一个sql函数，该怎么折腾就怎么折腾！ 这里还是先以Scala 阅读全文
posted @ 2018-04-23 19:38
大葱拌豆腐
阅读(506)
评论(0)
推荐(0)
摘要：
下面的测试代码使用的都是下面的topic： Kafka Java API之producer 关于producer API的使用说明，可以查看org.apache.kafka.clients.producer.KafkaProducer这个类的代码注释，有非常详细的说明，下面就直接给出程序代码及测试。 阅读全文
posted @ 2018-04-17 09:59
大葱拌豆腐
阅读(463)
评论(0)
推荐(0)
摘要：
Kafka简介 消息队列（Message Queue） MQ分类 Kafka简介 Kafka组件 Kafka安装配置 当然，kafka的配置文件也非常重要，有必要对其中的内容学习一下，这里给出其配置文件的说明： 另外需要注意的是，kafka启动后，会在zookeeper中创建相关的节点： Kafka 阅读全文
posted @ 2018-04-16 23:30
大葱拌豆腐
阅读(554)
评论(0)
推荐(0)
摘要：
个人理解：就是TF的一种输入语法。 跟C语言的scanf（），C++的 cin>> 意思差不多，只是长相奇怪了点而已。 做完下面几个例子，基本也就适应了。 首先占位符申请空间；使用的时候，通过占位符“喂（feed）”给程序。然后程序就可以run了。。。 理解的不一定对，也不够深入，仅供参考。 tf. 阅读全文
posted @ 2018-04-16 19:54
大葱拌豆腐
阅读(15850)
评论(2)
推荐(1)
摘要：
此程序被称为TF的 Hello World，19行代码，给人感觉很简单。第一遍看的时候，不到半个小时，就把程序看完了。感觉有点囫囵吞枣的意思，没理解透彻。现在回过头来看，感觉还可以从中学到更多东西。 注：研究了一下数据流向，画了张图 阅读全文
posted @ 2018-04-16 18:47
大葱拌豆腐
阅读(323)
评论(0)
推荐(0)
摘要：
Kafka消费形式验证 前面的《Kafka笔记整理（一）》中有提到消费者的消费形式，说明如下： 下面就来验证Kafka的消费形式，不过需要说明的是，在消费者的程序代码中，可以指定消费者的group.id（我们下面将会在配置文件中指定）。 而在使用kafka的shell命令时，其实也是可以指定配置文件 阅读全文
posted @ 2018-04-04 11:45
大葱拌豆腐
阅读(608)
评论(0)
推荐(0)
浙公网安备 33010602011771号