陌上花开

摘要： $ brew cask install chromedriver ==> Satisfying dependencies ==> Downloading https://chromedriver.storage.googleapis.com/2.45/chromedriver_mac64.zip ##################################################... 阅读全文

摘要： 一、beanstalk部署1、创建两个存储桶sengled-bucket-reliabilityops-backuptempsengled-bucket-reliabilityops-kinesis2、配置glue1）创建数据库：只填写名称即可，不需要填写位置信息2）配置爬网程序：主要填写名称、数据 阅读全文

摘要： 1、查阅资料，查下close_wait 状态的直接原因，期间可以再次熟悉下 tcp 三次握手，四次挥手协议的基础知识。2、通过查询资料，最终可以确定的是nginx本身问题，根据网上常推荐的两种方式分别调整系统和nginx本身的参数均无法解决此问题。1）系统层面（快速释放空闲的tcp连接） 2）ngi 阅读全文

摘要： 1、数据存放1）每个PutRecords请求最多可支持500条记录。2）请求中的每条记录可以大到1 MiB，整个请求的最大限制为5 MiB，包括分区键。3）每个分片可以支持每秒最多1,000条记录的写入，最大数据写入总量为每秒1 MiB。 2、数据处理1）每个分片均提供 2 MiB/秒的读取吞吐量。 阅读全文

摘要： 之前用kclpy读取kinesis流数据，处理并保存到elasticsearch中，现在发现elk中的数据展示与当前时间差越来越大（源数据增加了三倍）。阅读kinesis文档进行相应分片、实例数扩展，均没有明显效果。 重新优化了下代码，使用了bulk批量保存数据到elasticsearch，存放速率 阅读全文

摘要： 1、定时任务 # crontab -l 1 3 * * * bash /usr/local/redmine/backup/redmine_backup.sh 2、备份脚本 #!/bin/bash mysqldump -u username -p'password' redmine > /usr/local/redmine/backup/redmine_`date +%y_%m_%d-%H:... 阅读全文

摘要： package main import ( "bufio" "bytes" "encoding/json" "fmt" "io/ioutil" "log" "net" "net/http" "runtime" "sort" "strconv" "strings" "sync" "... 阅读全文

摘要： 一、centos 5、6 二、centos7 1、编辑定义/etc/systemd/system/websocket.service 文件 2、启用服务： systemctl enable websocket; 3、启动服务： systemctl start websocket 阅读全文

摘要： 今天使用bs4 写爬虫（爬取baidu搜索url），遇到Unicode编码无法转正常字体，经过反复排查，发现python2.x版本中的print方法打印书写格式问题： 1、python2.x 中正确写法： print "next_text:",next_page_text 或者 print("nex 阅读全文

摘要： 原文引自：https://www.oschina.net/code/snippet_170216_50650 阅读全文