时间的往事

摘要： 出错信息hadoop相关的包找不到。 [root@hadoop01 bin]# ./spark2-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStre 阅读全文

摘要： 这里没有设置分值，只有一个主分支。 1. 初始化 git init 2. 远程gitee创建项目gitee创建项目操作 3. 远程绑定项目 git remote add origin https://gitee.com/pangzi/test.git 4. 拉取远程项目和本地合并 git pull 阅读全文

摘要： 在本地建立了仓库，远程也创建了项目。 然后将本地项目和远程项目关联。 git remote add origin https://gitee.com/xxxx/xxxxxx.git 关联后push代码出现下面错误。 解决： 1） 先在本地pull远程项目 git pull origin master 阅读全文

摘要： 2020年投资三大主线:（10倍大牛股就在下面这些股了，大家可以仔细研究）: 一、特斯拉板块（贯穿全年）。 电动车板块上游资源：锂电:华友钴业、赣锋锂业和天齐锂业。 2020年的电动车板块就像2019年的猪肉板块一样。 选股主线仍坚持两条主线： （1）电池材料以及设备领域选择LG为首的全球一线电池厂 阅读全文

摘要： 本例子是根据某个字段作为key，然后将记录合并为list集合。 type myType = (String,Double) val goodsTradeRankRdd = goodsTradeRankDF.rdd.map(item => { val tenantId = item.getAs[Str 阅读全文

摘要： 原因：window本地无法获取hadoop的配置 解决方法： 1）下载一个spark-2.4.6-bin-hadoop2.7压缩包到本地并解压 2）下载一个winutils.exe放到spark-2.4.6-bin-hadoop2.7\bin下 3）在scala程序中添加如下配置即可： def en 阅读全文

摘要： 1. pom文件形式一如下：scala和java混合的spark程序之前使用其他配置始终有报找不到包的情况，尝试了一下如下配置可以打包成功。 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory> 阅读全文

摘要： 阅读全文

摘要： 1. table转map //事件权重 val eventWeightQuery = "select eventId,eventCode,eventName,weight from dwd.dwd_event_weight_dim"; val eventWeightMap = spark.sql(e 阅读全文

摘要： 透视函数其实就是我们excel中常用的数据透视表相似，先来看个例子。 以下是准备的数据源，数据是电商系统中用户的行为数据(浏览，收藏，加购，成交，评分等)，score为统计次数。 对应的字段分别为 租户id，用户id，商品编码Id，行为事件代码，当日统计次数，统计日期。 现在我们要转换成目标的数据是 阅读全文

摘要： 周末闲下来，画了幅目前主流的数据仓库的分层结构。 阅读全文

摘要： Typesafe的Config库，纯Java写成、零外部依赖、代码精简、功能灵活、API友好。 支持Java properties、JSON、JSON超集格式HOCON以及环境变量。 它也是Akka的配置管理库。 概述 纯java实现，无任何依赖 充分的测试 支持: Java properties, 阅读全文

摘要： //这种是接收日期格式的字符串格式@JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss",timezone="GMT+8") @DateTimeFormat(pattern="yyyy-MM-dd HH:mm:ss") //这种是日期转json字符串时格式自动转换，需 阅读全文

摘要： 阅读全文

摘要： // 分组统计 Map<String, Long> countMap = records.stream().collect(Collectors.groupingBy(o -> o.getProductType() + "_" + o.getCountry(), Collectors.countin 阅读全文

摘要： JS函数如下： /** * 添加async:true.即修改为异步 * 结果以callback的形式回调 */ function getPrice(inputparams,callback){ $.ajax({ url : ctx + '/xxxxx', type : "post", data : 阅读全文

摘要： #!/bin/bash app=gmail0808 port=8080 case $1 in "start") { for i in hadoop1 hadoop2 hadoop3 do ssh $i "java -jar /applog/gmail0808/"$app"-logger-0.0.1- 阅读全文

摘要： 阅读全文

摘要： 有时候深刻的哲理并比不上让人一笑的肤浅。可是人最终要归结到哲理上来。就像哲理和佛一直都在，但他们从不找你，因为他们知道，你早晚找他们。 佛的智慧显耀千年。他非常强调要破除认知障。哪认知障究竟是一个什么样的问题？我们何时会面对这个问题带来的影响？我们要怎么办？ 佛说的要破除认知障，。就是告诫我们不要觉 阅读全文

摘要： 原标题：震惊！3万家百年企业，7家千年企业，日本企业为何这么长寿？ 日本，弹丸之地，却拥有全球最多的长寿企业，代代传承达百年以上的家族企业就达到近10万家。这近10万家百年家族企业能够基业长青至今，至少经历并克服了战乱、饥荒、大地震、经济危机等一系列时代苦难的考验。 据日本东京商工研究机构的调查数据 阅读全文