Fork me on GitHub

随笔分类 -  分布式

Spark运行流程图总结
摘要：1. 整体架构 2. Standalone cluster 模式 3. Driver的运行流程 阅读全文
posted @ 2020-03-31 13:41 顾鹏pen 阅读(949) 评论(0) 推荐(0)
RedisPool的TestOnBorrow，TestOnReturn的坑
摘要：今天尝试Redis的分布式锁，因为没有分布式环境，使用多线程来代替，但是在使用多线程的时候，总是会有 redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketException: Socket closed或者 阅读全文
posted @ 2020-02-21 18:22 顾鹏pen 阅读(7997) 评论(5) 推荐(0)
SparkSQL 如何自定义函数
摘要：1. SparkSql如何自定义函数 2. 示例：Average 3. 类型安全的自定义函数 1. SparkSql如何自定义函数？ spark中我们定义一个函数，需要继承 UserDefinedAggregateFunction这个抽象类，实现这个抽象类中所定义的方法，这是一个模板设计模式？ 我只 阅读全文
posted @ 2020-02-04 22:46 顾鹏pen 阅读(1342) 评论(0) 推荐(0)