落霞与孤鹜齐飞

摘要： 4.hive优化 1)跑sql的时候会出现的参数： In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer= 如果大于，就会多生成一个reduce =1024 set hive.exec.reducers.max... 阅读全文

摘要： 1.hive的基础sql 建立测试数据表： 文章表：里面存入一段话，一个字段 （1）hive进行wordcount的统计 （2）经典的行转列 统计分析 要求转换为以下形式： (3)经典函数 时间计算 的使用 udata.user_id udata.item_id udata.rating udata 阅读全文

摘要： Spark Streaming输入 //*************** Spark Streaming 的输入 ************** 1、 文件数据源 1、Spark Streaming通过streamingContext.fileStream[KeyClass, ValueClass, I 阅读全文

摘要： Spark Sql //************** Spark SQL ******************* 1、Spark SQL 是Spark套件中的一个模块，他将数据的计算任务通过SQL的形式转换成了RDD的计算，类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。 2、Spark SQL的特点： 1、和Spark Core的无缝集成，我可以在写整... 阅读全文

摘要： import com.bigdata.kafka.originalLog.HDFSOutputStreamPool; import com.bigdata.kafka.originalLog.StringUtil; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream;... 阅读全文

摘要： 进入新公司已经快半个月了，目前很迷茫，没有自己想做的spark开发，初步了解了公司项目流程，感觉java写的一些模块真难啊，佩服别人的java 开发水平 ，思路与逻辑判断 ，代码架构与封装都感觉完美，但我看来就是很乱的感觉 ，熟悉一个新项目 又得从头开始 熟悉数据的来龙去脉 ，这次的项目不是传统的数 阅读全文

摘要： 转发 阅读全文

摘要： 目前就上海招聘的信息来看： 一、etl、sql工程师占60%，多半是外包 （一）笔试多是sql，典型的 1.Hive 实现wordcount select word,count(*) from ( select explode(split(sentence,' ')) as word from article b ) t group by word 2.类似于这种购买占比或者平均数（每个... 阅读全文

摘要： https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html 阅读全文

摘要： 总的思路就是先找出表中重复数据中的一条数据，插入临时表中，删除所有的重复数据，然后再将临时表中的数据插入表中。所以重点是如何找出重复数据中的一条数据，有三种情况 1.重复数据完全一样，使用distinct select distinct * from table 2.id列不同,id类型为int,自 阅读全文