摘要：scala 支持 像shell一样 处理命令 scala.sys.process提供了shell的和系统交互的DSL，包括执行命令, 逻辑操作, 重定向, 管道等操作。 可参考:https://www.cnblogs.com/yyy-blog/p/11483363.html 阅读全文

摘要：pyenv/pip #切换当前版本 pyenv local 3.7.1 阅读全文

摘要：传统的关系型数据库，如 Oracle、DB2、MySQL、SQL SERVER 等采用行式存储法(Row-based)，在基于行式存储的数据库中， 数据是按照行数据为基础逻辑存储单元进行存储的， 一行中的数据在存储介质中以连续存储形式存在。 列式存储(Column-based)是相对于行式存储来说的 阅读全文

摘要：/** * https://github.com/crealytics/spark-excel * @param sparkSession * @param filePath * @param header * @return */ def sparkExcel(sparkSession: Spar 阅读全文

摘要：SELECT FROM_UNIXTIME(1234567890, '%Y-%m-%d %H:%i:%S') 阅读全文

摘要：最近新搭的平台用到了hive 3.1的版本,发现和1.2的版本用法上存在差异 hive 3.1源码 其中涉及到时间转化的两个常用函数 from_unixtime 和 unix_timestamp 两者的TimeZone不在是从hive配置或者系统配置中获取,而是直接写死的UTC hive 1.2 最 阅读全文

摘要：1.Apache Tez (Tez is the next generation Hadoop Query Processing framework written on top of YARN. 它是一款基于YARN的新一代数据处理和分析框架，亮点：支持DAG调度作业，它能把多个有依赖的作业转换成 阅读全文

摘要：错误如标题: 场景:k8s 容器中通过 go语言编写的 sarama 创建一个 AsyncProducer 错误原因查找 1.通过放开sarama的日志(自己实现日志接口,重定义Logger) 1.1 sarama源码 */ package sarama import ( "io/ioutil" " 阅读全文