时间的往事

摘要： 阅读全文

摘要： 单文件数据库： sqlite3 单文件数据库，收费版带加密功能 SQLCipher 开源带加密功能的，sqlLite的加密版 https://github.com/sqlcipher/sqlcipher/releases 阅读全文

摘要： NTP在Linux下有两种时钟同步方式： 直接同步(也称跳跃同步)和平滑同步(也称微调同步)。 直接同步 使用ntpdate命令进行同步，直接进行时间变更。 如果服务器上存在一个12点运行的任务，当前服务器时间是13点，但标准时间时11点，使用此命令可能会造成任务重复执行。因此使用ntpdate同步 阅读全文

摘要： left join :左连接，返回左表中所有的记录以及右表中连接字段相等的记录。 right join :右连接，返回右表中所有的记录以及左表中连接字段相等的记录。 inner join: 内连接，又叫等值连接，只返回两个表中连接字段相等的行。 full join:外连接，返回两个表中的行：left 阅读全文

摘要： 1. POM文件加入仓库 注意：id要和仓库配置中的id一致。 2. 修改MAVEN配置文件 注意：如果原来有加入阿里云，这里是修改。下配置中 *,!cloudera 表示除了aliyun仓库还使用cloudera仓库 阅读全文

摘要： shell操作mysql 阅读全文

摘要： 1. test 1.1 test2 1.1.1 test3 特殊 2.test 2.1 特殊 2.1.1 EST test 阅读全文

摘要： 用途： 根据查询到结果数量来判断，是否需要再执行下个脚本。 1. 查询语句script.q脚本如下： 2. shell脚本如下： 这里注意hive语句需要包裹在``（左上角~按键）里面，然后可以把输出的结果赋值给一个变量。 执行结果显示如下： 阅读全文

摘要： 使用如下项目骨架创建flink项目，结果被官方的下面这个创建方式坑了。。 刚开始以为是阿里云镜像站的问题，但是增加了几个都不行。后来终于查到是archetype插件的版本问题。 修改如下，问题解决： 阅读全文

摘要： 1. 弹出窗口中传值给父层表单 table.on('tool(tableList)', function(obj){ var selected = obj.data; var layEvent = obj.event; if(layEvent 'selected'){ parent.layui.$( 阅读全文

摘要： <!-- flowchart 箭头图标 勿删 --> 小文件是如何产生的： 动态分区插入数据的时候，会产生大量的小文件，从而导致map数量的暴增 数据源本身就包含有大量的小文件 reduce个数越多，生成的小文件也越多 小文件的危害： 从HIVE角度来看的话呢，小文件越多，map的个数也会越多，每一 阅读全文

摘要： #Docker 指令停止/删除所容器docker stop $(docker ps -a -q)docker rm $(docker ps -a -q) #Docker把容器添加到网络docker network connect mynetwork containerdocker network i 阅读全文

摘要： 如果在hive的分区表新增非分区字段，那么原有的分区的数据即使重新运行也会显示为null。 必须先删除该分区，再重新跑数据。 阅读全文

摘要： 本demo用于测试jwt，通过登录验证通过后，使用jwt生成token，然后在请求header中携带token完成访问用户列表信息。 准备工作： 1. 实体类SysUser.java package com.king.entity; import lombok.Data; @Data public 阅读全文

摘要： 之前一直使用的navicat的自动的备份功能。但是在使用navicat的还原功能时，贼慢。 今天要做的是window服务器上将mysql单个数据库备份。然后还原到我的mac笔记本上。 本来以为很快的，中间遇到来一些小坑，搞了很久。 1. 备份，从window服务器使用mysqldump命令来备份，由 阅读全文

摘要： 这里有个需求，按月查询，并且要输出每月的开始日期，结束日期。 shell脚本如下： 默认，不输入参数时，执行结果： 输入指定月份参数时： 输入区间月份时： 这样就完美了。 阅读全文

摘要： 测试类： 输出结果： 阅读全文

摘要： 我使用的layui的2.4.5版本，在util中已经带了格式转换的函数。这里主要记录如何使用。 未使用前在table中显示如下： 前端代码如下： 通过模版和util工具类，可以针对时间戳进行格式化： 这里注意： 在模版中一定要加上div标记，否则会提示错误。 最终显示如下： 阅读全文

摘要： 1. 准备数据表test2 2. 准备2条数据 查询显示如下： 3. 现在要求出a,b,c,d,e 5个字段中每行的最大值和最小值。 虽然hive中有min和max，但是那是求某列字段的最小值和最大值，在这里行不通。接下来使用hive中的数组排序方法来求解。 思路： 先将字段合并到数组里面，然后使用 阅读全文

摘要： 模型稳定性： 群体稳定性指标(population stability index)公式： psi = sum(（实际占比-预期占比）* ln(实际占比/预期占比))举个例子解释下，比如训练一个logistic回归模型，预测时候会有个类概率输出，p。在你的测试数据集上的输出设定为p1，将它从小到大排 阅读全文