08 2020 档案

Spark Java创建DataFrame
摘要：俗话说得好，磨刀不误砍柴工，献上一副来自国家5A级风景区美景图。 述说正传，接下来开始说正事。 以前用Python和Scala操作Spark的时候比较多，毕竟Python和Scala代码写起来要简洁很多。 今天一起来看看Java版本怎么创建DataFrame，代码写起来其实差不多，毕竟公用同一套AP 阅读全文
posted @ 2020-08-30 22:10 凝望远处的天鹅 阅读(1595) 评论(0) 推荐(0)
scala怎么用 json4s判断key是否存在
摘要：最近碰到一个场景，需要在Scala里面判断json里面是否存在某个key。如果用fastjson，判断key是否存在很简单，直接containsKey即可。但是项目用的是json4s这个库，用法稍微有些不同，特此记录一下。代码如下： package dev.json import org.json4 阅读全文
posted @ 2020-08-25 22:45 凝望远处的天鹅 阅读(600) 评论(0) 推荐(0)
scala json4s删除json里面的key
摘要：如题，采用json4s，scala删除json里面的key？ 比如有这么一段json：{"@type":{"version":"1.0.2","name":"application-content","data":[]},"key-to-remove":[{"blah":"more blah"}], 阅读全文
posted @ 2020-08-19 23:09 凝望远处的天鹅 阅读(473) 评论(0) 推荐(0)
scala json fastjson json4s
摘要：最近有个spark任务涉及到scala操作json，大概流程是这样：从hbase取数据，每条数据先parse json，然后删除一个多余的key，最后在弄成json字符串，输出到hdfs。 json大概长这样，{“@type”:{"version":"1.0.2","name":"applicati 阅读全文
posted @ 2020-08-19 22:26 凝望远处的天鹅 阅读(672) 评论(1) 推荐(0)
Python多进程解决方案multiprocessing ProcessPoolExecutor
摘要：大多数编程语言都会有多线程和多进程的概念，至于线程和进程的概念，大家可以百度一下。 作为一门胶水语言，Python毫不意外，也可以利用多线程和多进程处理并发问题，但是多线程由于GIL的存在，起作用范围大打折扣，仅限于在IO等场景可以发挥点作用。 所以，今天要跟大家分享的是Python多进程方案，更好 阅读全文
posted @ 2020-08-18 22:45 凝望远处的天鹅 阅读(5251) 评论(0) 推荐(0)
Python定时任务轻量解决方案---Schedule
摘要：写后端的同学们可能都知道，工作中可能需要周期性执行一些任务，俗称定时任务。Linux环境下，可以借助于系统自带的crontab完成定时任务。但是很多时候，开发的同学们可能并没有权限去操作crontab，所以就催生了一些不太好的解决方案，比如基于Python/Java里面的Timer去弄一个周期性执行 阅读全文
posted @ 2020-08-17 20:35 凝望远处的天鹅 阅读(894) 评论(3) 推荐(1)
Spark从入门到放弃---RDD
摘要：什么是Spark？ 关于Spark具体的定义，大家可以去阅读官网或者百度关于Spark的词条，在此不再赘述。从一个野生程序猿的角度去理解，作为大数据时代的一个准王者，Spark是一款主流的高性能分布式计算大数据框架之一，和MapReduce，Hive，Flink等其他大数据框架一起支撑了大数据处理方 阅读全文
posted @ 2020-08-17 00:11 凝望远处的天鹅 阅读(594) 评论(0) 推荐(2)
SparkSQL /DataFrame /Spark RDD谁快？
摘要：Spark DataFrame一定比Spark RDD快？NO 阅读全文
posted @ 2020-08-15 21:57 凝望远处的天鹅 阅读(1399) 评论(2) 推荐(0)