后山前堂客

2019年11月24日

摘要： Error:scalac: Multiple 'scala-library*.jar' files (scala-library.jar, scala-library.jar, scala-library.jar) in Scala compiler classpath in Scala SDK s 阅读全文

posted @ 2019-11-24 18:13 后山前堂客阅读(3618) 评论(0) 推荐(0)

macbook 安装scala2.11.12 + flink 1.8.0

摘要： 1 scala 2.11.12下载 brew search scala scala scala@2.11 scala@2.12 ✔ scalaenv scalapack scalariform scalastyle brew install scala@2.11 ==> Caveats scala@ 阅读全文

posted @ 2019-11-24 16:06 后山前堂客阅读(1334) 评论(0) 推荐(0)

flink 运行scala 报错，问题定位在mvn scala plugin上，还没解决

摘要： $:java -version java version "1.8.0_231" Java(TM) SE Runtime Environment (build 1.8.0_231-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mi 阅读全文

posted @ 2019-11-24 09:10 后山前堂客阅读(607) 评论(0) 推荐(0)

2019年11月22日

flink包提交到服务器（本地mac）运行

摘要：将pom文件中的 flink相关依赖（flink-java，flink-client，flink-stream）的scope修改为 provided 然后 mvn clean package，打出来的包 12K，如下（scope为compile时的包46M）然后通过如下指令，在自己的mac上运行f 阅读全文

posted @ 2019-11-22 00:50 后山前堂客阅读(661) 评论(0) 推荐(0)

idea 中添加scala sdk

摘要：阅读全文

posted @ 2019-11-22 00:30 后山前堂客阅读(2616) 评论(0) 推荐(0)

2019年11月21日

flink第一个demo

摘要：在没有安装flink的情况下，试运行 wordcount 代码。代码如下： package bigdata.batch; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api 阅读全文

posted @ 2019-11-21 23:30 后山前堂客阅读(1353) 评论(0) 推荐(0)

sparksql 复杂查询OOM

摘要：平台上执行复杂查询，OOM，根据日志提示的结局方法： -- SET spark.driver.memory=6/8G;【还是OOM】set spark.sql.autoBroadcastJoinThreshold=-1;【解决问题】 Exception in thread "broadcast-ex 阅读全文

posted @ 2019-11-21 08:20 后山前堂客阅读(1810) 评论(0) 推荐(0)

2019年11月7日

mysql存储 emoji 😭表情，通过utf8mb4

摘要： mysql数据库的Character Set是 utf8mb4， Collation 是 utf8mb4_bin，如下图所示： sql语句： create table test_emoji(id int, emoji varchar(1000)); insert into test_emoji va 阅读全文

posted @ 2019-11-07 23:19 后山前堂客阅读(465) 评论(0) 推荐(0)

2019年10月30日

查看Linux系统的内存和CPU

摘要： # 查看系统版本 cat /etc/os-release cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) # 查看内存信息 cat /proc/meminfo | grep "MemTotal" # 总核数 = 物理CPU个数阅读全文

posted @ 2019-10-30 16:00 后山前堂客阅读(259) 评论(0) 推荐(0)

2019年10月14日

GMT UTC 时区等概念

摘要：时间戳定义：格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总秒数，表示为：1970-01-01 00:00:00 UTC。它称为Unix时间(Unix time)、POSIX时间(POSIX time)。从定义可以看到，全球相阅读全文

posted @ 2019-10-14 01:31 后山前堂客阅读(2083) 评论(0) 推荐(0)

公告