半夜打老虎

摘要： 最近遇到多进程共享数据的问题，到网上查了有几篇博客写的蛮好的，记录下来方便以后查看。 一、Python multiprocessing 跨进程对象共享 在mp库当中，跨进程对象共享有三种方式，第一种仅适用于原生机器类型，即python.ctypes当中的类型，这种在mp库的文档当中称为shared 阅读全文

摘要： 目标 选取几个比特币交易量大的几个交易平台，查看对应的API，获取该市场下货币对的ticker和depth信息。我们从网站上选取4个交易平台：bitfinex、okex、binance、gdax。对应的交易对是BTC/USD，BTC/USDT，BTC/USDT，BTC/USD。 一、ccxt库 开始 阅读全文

摘要： 今天 select * from 表名 where to_days(时间字段名) = to_days(now()); 昨天(包括昨天和今天的数据) SELECT * FROM 表名 WHERE TO_DAYS( NOW( ) ) - TO_DAYS( 时间字段名) <= 1 昨天(只包括昨天) SE 阅读全文

摘要： Js获取当前日期时间及其它操作 var myDate = new Date();myDate.getYear(); //获取当前年份(2位)myDate.getFullYear(); //获取完整的年份(4位,1970-????)myDate.getMonth(); //获取当前月份(0-11,0代 阅读全文

摘要： 目标 以腾讯滚动新闻为例，利用nightmare模拟点击下一页，爬取所有页面的信息。首先得感谢node社区godghdai的帮助，开始接触不太熟悉nightmare，感觉很高大上，自己写代码的时候问题也很多，多亏大神的指点。 一、选择模拟的原因 腾讯滚动新闻，是每六十秒更新一次，而且有下一页。要是直 阅读全文

摘要： 目标： 解决页面加载更多问题。笔记三中，我们只爬取到网页的部分信息，而点击加载更多后的页面内容是没有提取到的。开始我的想法是找到加载更多的数据接口（可参照：http://www.jianshu.com/p/3fdb6ab47aef），但是我又发现一个问题，当我打开一个订阅号页面时，找到数据接口如下图 阅读全文

摘要： 思路：通过笔记（二）中代理的设置，已经可以对YouTube的信息进行爬取了，这几天想着爬取网站下的视频信息。通过分析YouTube，发现可以从订阅号入手，先选择几个订阅号，然后爬取订阅号里面的视频分类，之后进入到每个分类下的视频列表，最后在具体到每一个视频，获取需要的信息。以订阅号YouTube 电 阅读全文

摘要： node爬虫代理设置 最近想爬取YouTube上面的视频信息，利用nodejs爬虫笔记(一)的方法,代码和错误如下 由于国内访问youtube的时候需要FQ，而在代码里我们需要通过设置代理才能获取页面信息。 1、通过nodejs的http/https模块 具体使用可以参考http://nodejs. 阅读全文

摘要： 目标：爬取慕课网里面一个教程的视频信息，并将其存入mysql数据库。以http://www.imooc.com/learn/857为例。 一、工具 1.安装nodejs：（操作系统环境：WiN 7 64位） 在Windows环境下安装相对简单（ps:其他版本我也不太清楚，可以问度娘） http:// 阅读全文

摘要： jQuery 的选择器可谓之强大无比，这里简单地总结一下常用的元素查找方法 $("#myELement") 选择id值等于myElement的元素，id值不能重复在文档中只能有一个id值是myElement所以得到的是唯一的元素 $("div") 选择所有的div标签元素，返回div元素数组 $(" 阅读全文