当前标签：Hadoop+Spark

spark2.1注册内部函数spark.udf.register("xx", xxx _)，运行时抛出异常：Task not serializable

cctext 2018-03-14 23:24 阅读:3867 评论:1 推荐:0

spark2.1：使用df.select(when(a===b,1).otherwise(0))替换(case when a==b then 1 else 0 end)

cctext 2018-03-07 21:40 阅读:5978 评论:1 推荐:0

spark2.1：flatMap的用法

cctext 2018-03-06 17:24 阅读:1858 评论:0 推荐:0

spark2.1：在RDD[unit].foreach(s=>{})内部调用sparkSession对象抛出NullPointException

cctext 2018-03-06 17:23 阅读:1189 评论:0 推荐:0

spark2.1：rdd.combineByKeyWithClassTag的用法示例

cctext 2018-03-04 22:27 阅读:484 评论:0 推荐:0

Spark：如何替换sc.parallelize(List(item1,item2)).collect().foreach(row=>{})为并行？

cctext 2018-03-04 16:56 阅读:2333 评论:0 推荐:0

hive：导出数据记录中null被替换为\n的解决方案

cctext 2018-01-19 10:40 阅读:8593 评论:3 推荐:1

Hive&SqlServerql：inner join on条件中如果两边都是空值的情况下，关联结果中会把数据给过滤掉。

cctext 2018-01-15 03:41 阅读:3299 评论:0 推荐:0

Hive：有表A与表B进行inner join，如果A分组内包含有数据，使用A，否则使用B分组下的数据

cctext 2018-01-14 18:52 阅读:1818 评论:0 推荐:0

hive：数据库“行专列”操作---使用collect_set/collect_list/collect_all & row_number()over(partition by 分组字段 [order by 排序字段])

cctext 2018-01-13 20:55 阅读:8573 评论:0 推荐:2

Hive：一次西安dba同事优化hive sql记录

cctext 2018-01-10 21:54 阅读:6 评论:0 推荐:0

SQLContext、HiveContext自定义函数注册

cctext 2017-12-25 18:38 阅读:2138 评论:0 推荐:0

通过java api统计hive库下的所有表的文件个数、文件大小

cctext 2017-12-21 18:57 阅读:5116 评论:0 推荐:1

Hive:添加、删除分区

cctext 2017-12-21 14:53 阅读:95506 评论:2 推荐:1

Hadoop API：遍历文件分区目录，并根据目录下的数据进行并行提交spark任务

cctext 2017-11-10 23:32 阅读:2141 评论:0 推荐:0

hive优化之——控制hive任务中的map数和reduce数

cctext 2017-11-10 00:48 阅读:1025 评论:0 推荐:0

Spark:将RDD[List[String,List[Person]]]中的List[Person]通过spark api保存为hdfs文件时一直出现not serializable task，没办法找到"spark自定义Kryo序列化输入输出API"

cctext 2017-11-09 01:34 阅读:672 评论:0 推荐:0

spark算子：combineByKey

cctext 2017-11-08 21:23 阅读:744 评论:0 推荐:1

spark分区数,task数目,core数,worker节点个数,excutor数量梳理

cctext 2017-11-07 20:04 阅读:1567 评论:0 推荐:0

spark算子：partitionBy对数据进行分区

cctext 2017-11-07 20:00 阅读:9285 评论:0 推荐:0