上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 22 下一页
摘要: 阅读全文
posted @ 2019-07-25 18:04 硅谷工具人 阅读(296) 评论(0) 推荐(0)
摘要: 单文件数据库: sqlite3 单文件数据库,收费版带加密功能 SQLCipher 开源带加密功能的,sqlLite的加密版 https://github.com/sqlcipher/sqlcipher/releases 阅读全文
posted @ 2019-07-25 09:59 硅谷工具人 阅读(1098) 评论(0) 推荐(0)
摘要: NTP在Linux下有两种时钟同步方式: 直接同步(也称跳跃同步)和平滑同步(也称微调同步)。 直接同步 使用ntpdate命令进行同步,直接进行时间变更。 如果服务器上存在一个12点运行的任务,当前服务器时间是13点,但标准时间时11点,使用此命令可能会造成任务重复执行。因此使用ntpdate同步 阅读全文
posted @ 2019-07-23 12:47 硅谷工具人 阅读(14649) 评论(3) 推荐(0)
摘要: left join :左连接,返回左表中所有的记录以及右表中连接字段相等的记录。 right join :右连接,返回右表中所有的记录以及左表中连接字段相等的记录。 inner join: 内连接,又叫等值连接,只返回两个表中连接字段相等的行。 full join:外连接,返回两个表中的行:left 阅读全文
posted @ 2019-07-20 18:52 硅谷工具人 阅读(3733) 评论(1) 推荐(0)
摘要: 1. POM文件加入仓库 注意:id要和仓库配置中的id一致。 2. 修改MAVEN配置文件 注意:如果原来有加入阿里云,这里是修改。下配置中 *,!cloudera 表示除了aliyun仓库还使用cloudera仓库 阅读全文
posted @ 2019-07-09 21:05 硅谷工具人 阅读(4229) 评论(0) 推荐(1)
摘要: shell操作mysql 阅读全文
posted @ 2019-07-09 20:08 硅谷工具人 阅读(5616) 评论(0) 推荐(1)
摘要: 1. test 1.1 test2 1.1.1 test3 特殊 2.test 2.1 特殊 2.1.1 EST test 阅读全文
posted @ 2019-07-09 18:52 硅谷工具人 阅读(171) 评论(0) 推荐(0)
摘要: 用途: 根据查询到结果数量来判断,是否需要再执行下个脚本。 1. 查询语句script.q脚本如下: 2. shell脚本如下: 这里注意hive语句需要包裹在``(左上角~按键)里面,然后可以把输出的结果赋值给一个变量。 执行结果显示如下: 阅读全文
posted @ 2019-07-02 14:00 硅谷工具人 阅读(2441) 评论(0) 推荐(0)
摘要: 使用如下项目骨架创建flink项目,结果被官方的下面这个创建方式坑了。。 刚开始以为是阿里云镜像站的问题,但是增加了几个都不行。后来终于查到是archetype插件的版本问题。 修改如下,问题解决: 阅读全文
posted @ 2019-06-27 17:35 硅谷工具人 阅读(3352) 评论(0) 推荐(0)
摘要: 1. 弹出窗口中传值给父层表单 table.on('tool(tableList)', function(obj){ var selected = obj.data; var layEvent = obj.event; if(layEvent 'selected'){ parent.layui.$( 阅读全文
posted @ 2019-06-26 10:45 硅谷工具人 阅读(13531) 评论(2) 推荐(0)
摘要: <!-- flowchart 箭头图标 勿删 --> 小文件是如何产生的: 动态分区插入数据的时候,会产生大量的小文件,从而导致map数量的暴增 数据源本身就包含有大量的小文件 reduce个数越多,生成的小文件也越多 小文件的危害: 从HIVE角度来看的话呢,小文件越多,map的个数也会越多,每一 阅读全文
posted @ 2019-06-21 09:51 硅谷工具人 阅读(2068) 评论(0) 推荐(2)
摘要: #Docker 指令停止/删除所容器docker stop $(docker ps -a -q)docker rm $(docker ps -a -q) #Docker把容器添加到网络docker network connect mynetwork containerdocker network i 阅读全文
posted @ 2019-06-11 23:05 硅谷工具人 阅读(322) 评论(0) 推荐(0)
摘要: 如果在hive的分区表新增非分区字段,那么原有的分区的数据即使重新运行也会显示为null。 必须先删除该分区,再重新跑数据。 阅读全文
posted @ 2019-06-10 17:26 硅谷工具人 阅读(700) 评论(0) 推荐(0)
摘要: 本demo用于测试jwt,通过登录验证通过后,使用jwt生成token,然后在请求header中携带token完成访问用户列表信息。 准备工作: 1. 实体类SysUser.java package com.king.entity; import lombok.Data; @Data public 阅读全文
posted @ 2019-06-02 19:05 硅谷工具人 阅读(16524) 评论(2) 推荐(1)
摘要: 之前一直使用的navicat的自动的备份功能。但是在使用navicat的还原功能时,贼慢。 今天要做的是window服务器上将mysql单个数据库备份。然后还原到我的mac笔记本上。 本来以为很快的,中间遇到来一些小坑,搞了很久。 1. 备份,从window服务器使用mysqldump命令来备份,由 阅读全文
posted @ 2019-06-02 14:48 硅谷工具人 阅读(1114) 评论(0) 推荐(0)
摘要: 这里有个需求,按月查询,并且要输出每月的开始日期,结束日期。 shell脚本如下: 默认,不输入参数时,执行结果: 输入指定月份参数时: 输入区间月份时: 这样就完美了。 阅读全文
posted @ 2019-05-05 15:20 硅谷工具人 阅读(2974) 评论(1) 推荐(1)
摘要: 测试类: 输出结果: 阅读全文
posted @ 2019-05-04 18:43 硅谷工具人 阅读(1004) 评论(0) 推荐(0)
摘要: 我使用的layui的2.4.5版本,在util中已经带了格式转换的函数。这里主要记录如何使用。 未使用前在table中显示如下: 前端代码如下: 通过模版和util工具类,可以针对时间戳进行格式化: 这里注意: 在模版中一定要加上div标记,否则会提示错误。 最终显示如下: 阅读全文
posted @ 2019-05-01 18:35 硅谷工具人 阅读(11389) 评论(0) 推荐(2)
摘要: 1. 准备数据表test2 2. 准备2条数据 查询显示如下: 3. 现在要求出a,b,c,d,e 5个字段中每行的最大值和最小值。 虽然hive中有min和max,但是那是求某列字段的最小值和最大值,在这里行不通。接下来使用hive中的数组排序方法来求解。 思路: 先将字段合并到数组里面,然后使用 阅读全文
posted @ 2019-04-25 09:57 硅谷工具人 阅读(24594) 评论(0) 推荐(2)
摘要: 模型稳定性: 群体稳定性指标(population stability index)公式: psi = sum((实际占比-预期占比)* ln(实际占比/预期占比))举个例子解释下,比如训练一个logistic回归模型,预测时候会有个类概率输出,p。在你的测试数据集上的输出设定为p1,将它从小到大排 阅读全文
posted @ 2019-04-16 16:17 硅谷工具人 阅读(735) 评论(0) 推荐(0)
上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 22 下一页
成功之道,在于每个人生阶段都要有不同的目标,并且通过努力实现自己的目标,毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福,同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知,修身齐家治国平天下。