python简单粗暴多进程之concurrent.futures
摘要：
python在前面写过多线程的库threading： python3多线程趣味详解 但是今天发现一个封装得更加简单暴力的多进程库concurrent.futures： 运行结果部分： 阅读全文
posted @ 2016-10-14 09:16 TTyb 阅读(485) 评论(0) 推荐(0)
SmartDo数据挖掘思路
摘要：
SmartDo数据挖掘思路 数据挖掘部分： 数据挖掘的主要网址为： 挖掘部分为网址左边的入口，大约20多个，其中页面分级如下： 其中括号内的为点击的URL入口。 本次抓取的步骤如下： 1. 将所有类目下的URL储存到数据库中 2. 分配不同的类目的URL到不同的计算机，实行分布抓取 3. 将抓取的H 阅读全文
posted @ 2016-10-06 14:46 TTyb 阅读(411) 评论(0) 推荐(0)
Amazon关键词抓取
摘要：
亚马逊的网址构造很简单，几乎算是静态的网页，花费3小时完美收工，不要在意细节！ 在python3下利用xpath就可以完美解决 xpath的使用方法请见： python之lxml(xpath) 入口图界面为： 抓取操作为： 抓取的效果图如下： 图片： excel： 阅读全文
posted @ 2016-09-20 20:53 TTyb 阅读(2750) 评论(1) 推荐(0)
淘宝天猫关键词SEO优化
摘要：
淘宝天猫的网站完全像是一个成熟的搜索引擎，只是从google、bing、baidu改成了淘宝天猫而已，普通搜索引擎有品专，有皇冠，有PC，有无线；淘宝天猫里面有钻展，有直通车，也有PC，无线。搜索引擎是依靠竞价和热度来排名的，但是淘宝天猫却是完全依靠热度在排名，打开淘宝天猫的页面可以看到： 商品根据 阅读全文
posted @ 2016-09-19 18:36 TTyb 阅读(2145) 评论(2) 推荐(0)
Linux下升级python
摘要：
本文的Linux系统为CentOS 7 64 在Linux系统的下载文件夹中邮件打开终端，输入命令： 这样子python文件的安装包就会下载到下载这个文件夹里面了： 解压命令： 解压完成，切换到该文件夹下，也就是cd 将安装设定在我们前面建立的python3的文件夹下面： 但是发现： 原来是没有gc 阅读全文
posted @ 2016-09-13 19:30 TTyb 阅读(1296) 评论(0) 推荐(0)
python3生成标签云
摘要：
标签云是现在大数据里面最喜欢使用的一种展现方式，其中在python3下也能实现标签云的效果，贴图如下： 进入正文 首先要安装以下几个库： 还有最重要的库： 或者去官网下载： 安装完毕，利用官网的例子来做： 果断报错： 看了发现问题出在库中的： 原来是python3.4不支持写法： 在Python2. 阅读全文
posted @ 2016-09-07 18:48 TTyb 阅读(4024) 评论(12) 推荐(1)
python3多线程趣味详解
摘要：
python3的多线程很多人无法理解是怎么运行的，因此本文从程序猿的日常生活出发，写了一个由浅入深的多线程教程，这样子大家就不会觉得陌生了，多线程真的很简单很简单！ 不要讲多线程局限于库或者框架，自己造轮子才是最大的快乐。 以下是正文 假设我是一个程序猿，我想听歌，但是我又要打码，所以有： 我听完歌 阅读全文
posted @ 2016-09-06 19:34 TTyb 阅读(4425) 评论(3) 推荐(6)
python之selenium
摘要：
selenium是处理异步加载的一种方法 总的来说是操作浏览器访问来获取自己想要的资料 优点是浏览器能看到的都能爬下来，简单有效，不需要深入破解网页加载形式 缺点是加载的东西太多，导致爬取速度变慢 阅读全文
posted @ 2016-09-05 13:51 TTyb 阅读(1788) 评论(0) 推荐(0)
python之lxml(xpath)
摘要：
bs4确实没这个好用，bs4的树太复杂 lxml很好 定位非常好 详细解说在注释里面有了 打印结果： 阅读全文
posted @ 2016-09-02 11:20 TTyb 阅读(2242) 评论(0) 推荐(0)
python中时间日期格式化符号
摘要：
python中时间日期格式化符号： 运行结果： %y 两位数的年份表示（00-99） %Y 四位数的年份表示（000-9999） %m 月份（01-12） %d 月内中的一天（0-31） %H 24小时制小时数（0-23） %I 12小时制小时数（01-12） %M 分钟数（00=59） %S 秒（ 阅读全文
posted @ 2016-09-01 20:45 TTyb 阅读(443) 评论(0) 推荐(0)
唯品会数据采集-异步瀑布流
摘要：
数据分析离不开数据的支持，为了分析唯品会，特地采集唯品会数据。 采集入口为手机端，在火狐浏览器下ctrl+shift+M进入手机模式，并点击触屏模式，进入唯品会网站m.vip.com，刷新网页。 点击右上角的搜索： 点击品牌： 这时候打开火狐的firebug，随便进入一个店铺，这时候系统会向唯品会发 阅读全文
posted @ 2016-08-31 18:33 TTyb 阅读(2187) 评论(3) 推荐(0)
python数据库操作pymysql
摘要：
安装数据库： 进行数据库的更新、插入、查询等操作： 阅读全文
posted @ 2016-08-30 18:50 TTyb 阅读(926) 评论(0) 推荐(0)
浙公网安备 33010602011771号