叶落十七

摘要： 环境：Spark-1.5.0 HBase-1.0.0。场景：HBase中按天分表存数据，要求将任意时间段的数据合并成一个RDD以做后续计算。尝试1: 寻找一次读取多个表的API，找到最接近的是一个叫MultiTableInputFormat的东西，它在MapReduce中使用良好， 但没有找到用于... 阅读全文

摘要： 今天在一个服务器上部署一个webserver的时候，提示我bind端口失败，我习惯性的用netstat看了下，没有被占用啊！把问题分享出来后，给力的同事们搜索到了ip_local_port_range这个东西这个东西对应的是/proc/sys/net/ipv4/ip_local_port_range... 阅读全文

摘要： 简单的说，Redmine是个项目管理软件。如何降低沟通成本、如何规避开发风险、如何压缩项目人力？这些问题看似高屋建瓴，实际上都不是非高手不可触及的。假设有一个研发团队，L是老大，他负责接入需求并安排任务。一、分配任务L理解某波需求后，会拉上相关人讨论，讲一下为什么做，做成什么样，怎么做。会后，经常有... 阅读全文

摘要： 用nginx-lua搭的服务需要写日志，一般采用nginx自带的accesslog加logrotate脚本来实现，但是无法满足一次请求需要写多条日志的需求之前用C和GO实现过类似的代码，思路是主进程写管道，子进程读管道并交由apache-rotatelogs写日志这里用Lua也实现了一下---- R... 阅读全文

摘要： mkdir -p /home/data/corefilechmod 777 /home/data/corefileecho "ulimit -S -c unlimited > /dev/null 2>&1" >> /etc/profilesource /etc/profileecho "1" > /... 阅读全文

摘要： 核心代码：if(r->headers_in.x_real_ip != NULL) { ngx_log_error(NGX_LOG_ERR, r->connection->log, 0, "%V", &r->headers_in.x_real_ip->value); } else ... 阅读全文