阿布_alone - 博客园

2019年3月28日

摘要： 1. 还是以虎嗅为例,他给我返回的是一个json格式的json串 2.那么我需要操作的就是把json串转换成我们的字典格式再进行操作 3.自己导入选择器 4.使用Selector的xpath方法获取内容 5.使用效果我把上一篇虎嗅的在parse中修改了来示范一下 5.文档阅读全文

posted @ 2019-03-28 21:08 阿布_alone 阅读(1262) 评论(0) 推荐(0)

scrapy爬取虎嗅(典型的post请求在scrapy中的应用)

只有注册用户登录后才能阅读该文。阅读全文

posted @ 2019-03-28 20:54 阿布_alone 阅读(17) 评论(0) 推荐(0)

2019年3月27日

基于pydpier爬取1药网(转载)

摘要： 1.商品爬取 2.评论爬取阅读全文

posted @ 2019-03-27 22:45 阿布_alone 阅读(411) 评论(0) 推荐(0)

pyspider的基本操作

摘要：一.安装 1.修改 pyspider/webui/webdav.py 第209行：否则启动会报错 2.启动报错 3.phatomjs 其他问题参考：https://www.cnblogs.com/wisir/p/10666185.html 二.启动 1.启动 2.帮助 3.文件 4.界面 5.操作阅读全文

posted @ 2019-03-27 21:17 阿布_alone 阅读(558) 评论(0) 推荐(0)

pyquery的简单操作

摘要：一.初始化 1.html初始化 2.url初始化 3,文件初始化二.基本选择器三.查找元素 1.子元素 2.父元素 3.兄弟元素四.遍历 1.单个元素 2.多个元素五.获取信息 1.获取属性 2.获取文件 3.获取HTML 六.DOM操作 1.addClass、removeClass¶ 2. 阅读全文

posted @ 2019-03-27 18:41 阿布_alone 阅读(592) 评论(0) 推荐(0)

2019年3月26日

关于字体反爬的思路(猫眼电影)

摘要：一.关于字体反爬的思路 1.打开猫眼电影我们发现其很多关于数值在网页显示正常,通过element看到是方框 2.打开network看到所有的请求(找到字体的请求,直接那请求url就能拿到他的字体文件) 3.字体处理 <glyf...> 标签内包含着每一个字符的对象<TTGlyph>，同样第一个和最后阅读全文

posted @ 2019-03-26 21:22 阿布_alone 阅读(1060) 评论(0) 推荐(1)

路飞学城搭建值前后端结合

摘要：一.首页搭建 1.轮播图 admin站点配置支持图片上传默认情况下，Django会将上传的图片保存在本地服务器上，需要配置保存的路径。我们可以将上传的文件保存在静态文件statics目录中，添加如下上传保存目录信息配置代码：把Home子应用注册到settings的INSTALLED_APPS 阅读全文

posted @ 2019-03-26 09:47 阿布_alone 阅读(363) 评论(0) 推荐(0)

2019年3月24日

git平台创建项目(码云)

摘要：一.在码云创建项目 1.新建仓库 2,项目名称等 3.创建后的界面 4.克隆远程项目到本地(项目地址和用户名密码) 克隆后本地效果 5.创建并切换分支到dev 6.git提交和推送到远程仓库 1. 把线上的代码执行以下命令,拉取到本地,进行同步 git pull 2. 根据提示,移除多余的冲突的文件阅读全文

posted @ 2019-03-24 12:03 阿布_alone 阅读(615) 评论(0) 推荐(0)

2019年3月22日

Json与jsonpath再认识与初识

摘要：一.json格式的数据 1.认识 2.格式转换 2.1 json.loads() 把Json格式字符串解码转换成Python对象，从json到python的类型转化对照如下： 2.2 json.dumps() python类型转化为json字符串，返回一个str对象把一个Python对象编码转换成J 阅读全文

posted @ 2019-03-22 20:39 阿布_alone 阅读(619) 评论(0) 推荐(0)

b站弹幕的爬取以及词云的简单使用

摘要：一.B站弹幕的爬取 5. 效果: 二.关于B站直播弹幕的爬取 3.代码三.b站小视频的爬取需求:爬取b站的小视频 url=url = http://vc.bilibili.com/p/eden/rank#/?tab=全部 4.看一下请求结果 5.对ajax发起跟过请求可以看到,带着参数就可以拿阅读全文

posted @ 2019-03-22 17:01 阿布_alone 阅读(2799) 评论(0) 推荐(0)

阿布alone

公告