随笔档案「2017年3月」 - yuerspring

摘要：#Python Data Structures#working with listswords = "the quick brown for jumps over the lazy dog".split()print(words)info = [[w.upper(),... 阅读全文

posted @ 2017-03-29 23:08 yuerspring 阅读(127) 评论(0) 推荐(0)

摘要：内容来自京东金融微信公众号整理和解读Google 发表三大论文 GFS MapReduce BigTable 衍生出很多开源框架，毫无疑问 Hadoop 在大家心中的地位是不可估量的。Hadoop 因为其高可用高扩展高容错特性成为开源工业界的事实标... 阅读全文

posted @ 2017-03-28 22:09 yuerspring 阅读(135) 评论(0) 推荐(0)

Scala 入门基础

摘要：为何学习{可拓展 --> 面向对象函数式编程兼容java --> 类库兼容互操作语法简洁 --> 代码行段类型推断抽象控制静态类型化 --> 可检验安全重构支持并发控制 --> 强计算... 阅读全文

posted @ 2017-03-23 22:46 yuerspring 阅读(87) 评论(0) 推荐(0)

摘要：package streamings.studysimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.DStreamimport org.apache.spark.str... 阅读全文

posted @ 2017-03-23 21:39 yuerspring 阅读(848) 评论(0) 推荐(0)

SQL transformation

摘要：SQL transformationhow can we convert single row to multiple row (example)SAP_SALES_ORD_NUM COVERAGE_TERM1122 3 I need result as SAP_S... 阅读全文

posted @ 2017-03-20 13:27 yuerspring 阅读(158) 评论(0) 推荐(0)

摘要：package com.xh.moviesimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.{Row,... 阅读全文

posted @ 2017-03-15 20:48 yuerspring 阅读(1660) 评论(0) 推荐(0)

摘要：最近段子不少，尤其是华为 35 岁的言论，所以就想写写员工，企业的论证关系在一个公司待久了，如果个人能力不断提高，但是公司平台一直稳定，或是公司平台一直迭代更新但是员工能力跟不上都会造成车速减速在这里我们论证一下这三者的关系，发动机毫无疑问就是我们的员... 阅读全文

posted @ 2017-03-14 21:36 yuerspring 阅读(201) 评论(0) 推荐(0)

Spark Scala 二次排序

摘要：package com.second.sortbysparkimport org.apache.spark.{SparkConf, SparkContext}/** * Created by xxxxx on 3/14/2017. */object Seconda... 阅读全文

posted @ 2017-03-14 21:21 yuerspring 阅读(443) 评论(0) 推荐(0)

摘要：package com.xh.moviesimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.mutableim... 阅读全文

posted @ 2017-03-12 23:49 yuerspring 阅读(401) 评论(0) 推荐(0)

摘要：1.下载源码2.导入3.导入设置4.结束阅读全文

posted @ 2017-03-09 21:13 yuerspring 阅读(157) 评论(0) 推荐(0)

摘要：Hive的一般学习者和培训者在谈性能优化的时候一般都会从语法和参数这些雕虫小技的角度谈优化,而不会革命性的优化Hive的性能,产生这种现象的原因有:1,历史原因和思维定势:大家学习SQL的时候一般都是就单机DB,这个时候你的性能优化技巧确实主要是SQL语法和参数调优;... 阅读全文

posted @ 2017-03-07 21:34 yuerspring 阅读(145) 评论(0) 推荐(0)

摘要：package com.x.himport java.io.Fileimport scala.io.Source/** * Created by xxxxx on 3/7/2017. * read logs and anlysis the interval tim... 阅读全文

posted @ 2017-03-07 21:25 yuerspring 阅读(288) 评论(0) 推荐(0)

yuerspring