摘要: 2) 运行 MovieMain.java 函数, 开启爬虫(当前只爬取1000页数据, 总共约10万部电影) 3)查询数据库表, 观察爬取数据清空 四、github代码地址 五、总结 优点:方便调试 不足:java版本速度较慢(每秒爬10条左右),后续会补上python的版本。 阅读全文
posted @ 2019-10-21 10:04 小马哥的春天 阅读(1678) 评论(0) 推荐(0)
摘要: #docker安装yum -y install docker-iodocker --version #启动Docker进程systemctl start dockersystemctl status dockersystemctl enable docker --设置开机自启动docker服务 #查 阅读全文
posted @ 2019-10-19 10:35 小马哥的春天 阅读(442) 评论(0) 推荐(0)
摘要: 一、背景: 由于阿里云RDS生产库每天都需要备份且拷贝到自建读库,而如果使用阿里云的自动拷贝到只读实例, 费用太高, 故采用自编写同步脚本方法实现。 二、前提: 1). 已开通阿里云RDS, 且开启定期备份功能。(备份功能生成备份文件供下载) 2). 已在备份的目标服务器上安装mysql数据库。 3 阅读全文
posted @ 2019-10-17 14:43 小马哥的春天 阅读(855) 评论(0) 推荐(0)
摘要: # php安装包下载wget https://www.php.net/distributions/php-5.6.19.tar.bz2# 解压bunzip2 php-5.6.19.tar.bz2tar xvf php-5.6.19.tar # 配置安装php (中间可能报缺少某些包, 按照缺少的提示 阅读全文
posted @ 2019-06-17 12:07 小马哥的春天 阅读(531) 评论(0) 推荐(0)
摘要: zblog是一个博客的开源框架, 挺不错的,我们当前拿来作为新闻系统管理使用。 由于我们数据库需要统一使用RDS, 故对zblog数据库配置进行修改,修改文件如下: 1. 数据库文件地址: zb_users/c_option.php 2. 修改如下: 3. 修改完毕, 保存后重启php: servi 阅读全文
posted @ 2019-04-29 15:04 小马哥的春天 阅读(1378) 评论(0) 推荐(0)
摘要: 1. 改造原因 (1) 由于历史原因, 本应该是同一个库的表分布在两个数据库中,需要对这两个库进行合并。 (2) 已有的数据库性能无法满足业务的增长需要, 查询卡,慢问题突出。 (3) 当前自建Mysql数据库在配置优化、性能监控、负载均衡上缺乏成熟的方案和经验, 故借托管到阿里云RDS,有利于数据 阅读全文
posted @ 2019-04-11 14:09 小马哥的春天 阅读(752) 评论(0) 推荐(0)
摘要: 微信对于钱包支付存在着额度限制,静态扫码每笔最高为 3000元,对于一些价格超过3000元的商品,只能使用多次支付, 客户体验很不好。 为了突破微信的支付额度限制, 我们使用动态付款码实现。 自建商城中, 在支付环节使用微信、支付宝支付,我们对接网商银行接口实现支付,网商银行对接了微信、支付宝渠道, 阅读全文
posted @ 2018-11-08 11:33 小马哥的春天 阅读(639) 评论(0) 推荐(0)
摘要: 把一个用户ID转换成List存储,最开始我使用的方法是: 发现查询的结果一直为空, DEBUG发现userIds一直size = 0 原来是因为 Lists.newArrayList 存在两个重载的方法: 我的调用走了下面的 newArrayList(int size) 方法,只是初始化了列表的长度 阅读全文
posted @ 2018-08-30 12:16 小马哥的春天 阅读(25332) 评论(1) 推荐(2)
摘要: 最近新搭建的亚马逊EC2服务器, 上面部署了一个静态的WEB, 启动了一个nginx做代理。最近发现一个问题: Nginx进程隔一段时间就莫名的挂掉了, 然后就出现了网站无法打开的窘境。。 为了防止这个问题再次发生, 特使用如下方法进行Nginx的进程守护。 1. 编写脚本, 监测nginx进程,如 阅读全文
posted @ 2018-08-29 16:23 小马哥的春天 阅读(1521) 评论(0) 推荐(0)
摘要: 看看RAP的官方定义: 什么是RAP? (Rigel API Platform) 在前后端分离的开发模式下,我们通常需要定义一份接口文档来规范接口的具体信息。如一个请求的地址、有几个参数、参数名称及类型含义等等。RAP 首先方便团队录入、查看和管理这些接口文档,并通过分析结构化的文档数据,重复利用并 阅读全文
posted @ 2018-08-22 19:13 小马哥的春天 阅读(730) 评论(0) 推荐(0)