导航

2018年3月3日

php 网络爬虫2种方法

摘要： 1，通过curl进行抓取再进行写入文件当中： file_get_contents/stream_get_contents与curl对比 php中file_get_contents与curl性能比较分析一文中有详细的对比分析，主要的对比现在列下来： - fopen /file_get_contents 阅读全文

posted @ 2018-03-03 14:26 神探小一郎 阅读(166) 评论(0) 推荐(0)

PHP实现网页爬虫

摘要： 抓取某一个网页中的内容，需要对DOM树进行解析，找到指定节点后，再抓取我们需要的内容，过程有点繁琐。LZ总结了几种常用的、易于实现的网页抓取方式，如果熟悉JQuery选择器，这几种框架会相当简单。 一、Ganon 项目地址： http://code.google.com/p/ganon/ 文档： h 阅读全文

posted @ 2018-03-03 11:40 神探小一郎 阅读(2043) 评论(0) 推荐(0)

2018年2月28日

项目中常用的19条MySQL优化

摘要： 声明一下：下面的优化方案都是基于 “ Mysql-索引-BTree类型 ” 的 一、EXPLAIN 做MySQL优化，我们要善用 EXPLAIN 查看SQL执行计划。 下面来个简单的示例，标注(1,2,3,4,5)我们要重点关注的数据 二、SQL语句中IN包含的值不应过多 MySQL对于IN做了相应 阅读全文

posted @ 2018-02-28 11:05 神探小一郎 阅读(144) 评论(0) 推荐(0)