摘要:简介 一个简单的日志滚动器 业界已有大量优秀的日志滚动工具来限制日志大小 本工具只是仿制了Apache httpd中的rotatelogs 不同的是,工作模式参考了yarn namenode日志的管理模式 按照参数配置,工具会限制日志文件的数量及每个文件的体积,同时保证后缀最大的日志文件中为较老旧日 阅读全文
posted @ 2019-08-15 17:27 苏轶然 阅读 (68) 评论 (0) 编辑
摘要:AdaGrad 阅读全文
posted @ 2019-07-23 15:11 苏轶然 阅读 (93) 评论 (0) 编辑
摘要:Optimizer SGD Momentum Nesterov(牛顿动量) 二.自适应参数的优化算法 这类算法最大的特点就是,每个参数有不同的学习率,在整个学习过程中自动适应这些学习率。 AdaGrad RMSProp Adam 二阶近似的优化算法 牛顿法 共轭梯度法 BFGS LBFGS 阅读全文
posted @ 2019-07-23 14:39 苏轶然 阅读 (226) 评论 (0) 编辑
摘要:dependencyManagement里只是声明依赖,并不实现引入,因此子项目需要显式的声明需要用的依赖。 dependencies 相对于dependencyManagement,所有声明在dependencies里的依赖都会自动引入,并默认被所有的子项目继承。 阅读全文
posted @ 2019-07-04 22:46 苏轶然 阅读 (36) 评论 (0) 编辑
摘要:flink 写kafka,报错,作业挂掉 Caused by: java.lang.Exception: Failed to send data to Kafka: Expiring 89 record(s) for system_online_learning_test 1: 30001 ms h 阅读全文
posted @ 2019-07-01 21:26 苏轶然 阅读 (664) 评论 (0) 编辑
摘要:|连接方式|是否有效| | | | |Hive Shell|不需要重启Hive服务就有效| |Hive Server|重启Hive服务才生效| 阅读全文
posted @ 2019-06-19 16:05 苏轶然 阅读 (82) 评论 (0) 编辑
摘要:"source url" LinkedList implements it with a doubly linked list. ArrayList implements it with a dynamically resizing array. This will lead further dif 阅读全文
posted @ 2019-06-19 16:03 苏轶然 阅读 (45) 评论 (0) 编辑
摘要:"原文" docker 客户端通过unix:///var/run/docker.sock与docker daemon通信,unix:///var/run/docker.sock需要管理员权限才能访问,所以要么运行sudo docker run hello world,要么将当前用户添加在docker 阅读全文
posted @ 2019-06-05 11:08 苏轶然 阅读 (1545) 评论 (0) 编辑
摘要:"FLINK 11738" 1.7.2后flink修复调整 "mail archives" 阅读全文
posted @ 2019-05-29 17:02 苏轶然 阅读 (451) 评论 (0) 编辑
摘要:source code output 结论 Java方法参数传递为值传递 Java方法值传递为浅拷贝 Scala 类似 阅读全文
posted @ 2019-05-29 16:40 苏轶然 阅读 (60) 评论 (0) 编辑