06 2018 档案
摘要：标题很长：通过shell脚本来rerun一个oozie调度失败的job,从而可以跳过执行失败的节点 不过目前从oozie调度测试的例子来看，oozie本身的retry好像并没有参数可以控制跳过失败的节点。必须手工重新rerun的时候指定 -D oozie.wf.rerun.failnodes=fal
阅读全文
摘要：今天帮朋友解决一个问题，朋友的框架用的layui的，发现layui的里面的data.field不能获取动态生成的标签的值的。 于是使用jquery的方法如下：
阅读全文
摘要：今天修改了和journalNode通信的zookeeper配置，原来没有打开zookeeper动态清理快照的功能。 所以3台zookeeper节点，每台修改完配置后，然后重启了下zookeeper服务。 然后就发现hadoop集群发生脑裂了，并且两台namenode节点都是standby状态。 经过
阅读全文
摘要：今天运维教我的磁盘扩容的一串命令，暂时没空研究了，留着以后可能会用到的。 root账号登录： fdisk -l
阅读全文
摘要：从3.4版本以后，在配置文件中有2个参数分别设置快照的清理。默认没有打开。
阅读全文
摘要：之前一直没做过rebalance，以为速度很快，结果大意了，等到磁盘达到90%的时候，才开始做rebalance。 默认的从日志中可以看到总共需要迁移1.89T，但是每次只移动40G大小的量。 然后查看40G的数据量从15:45分到15:48分，所以结算结果为每分钟13G,每秒228M左右。(感觉这
阅读全文
摘要：redis集群的搭建 https://www.cnblogs.com/kangoroo/p/7657616.html 另外集群中的key的存放： 首先，redis集群一共分配16384个槽 然后根据key值进行hash后，根据hash的结果值存储到对应的某个槽中。 所以我在window上通过redi
阅读全文
摘要：mport org.apache.commons.lang.time.DateUtils; import org.joda.time.DateTime; import org.joda.time.Duration; import org.junit.Test; import java.time.LocalDateTime; import java.time.temporal.ChronoU...
阅读全文
摘要：前几个月进行的大数据架构的升级： 原来的大数据集群的状况如下： 1）主从模式，从多个日志源采集后， 2）接收端只用了1个flume接收，存储到hdfs上。 3）并不支持实时的数据清洗。 4）存储到hive系统的数据归类不合理，数据没有明显的层级关系，全部从多个源表直接计算输出结果。 另外，原来的同事
阅读全文
摘要：一共有以下三种： 分别对应的是： obj1: 字符串拼接 obj2: 对象数组,都是name，vlaue obj3: 对象 obj4: json字符串 应用场景： 1. 使用easyui中的datagrid表格控件展示数据的时候，在查询的页面中使用如下： 2. ajax向后台提交数据时： 如果一个表
阅读全文
浙公网安备 33010602011771号