2018年4月21日
macOS下python3通过scrapy框架重新生成不得姐网站视频采集过程日志
摘要： 1.搭建虚拟python3环境（Virtualenvwrapper） 参考http://www.cnblogs.com/it-tsz/p/pyhton.html 2.安装scrapy 前提先安装好pip,setuptools，然后安装以下模块 pip install lxml pip instal 阅读全文
posted @ 2018-04-21 18:37 中国人醒来了 阅读(250) 评论(0) 推荐(0)
macOS下python3通过scrapy框架重新生成不得姐网站视频采集过程日志
摘要： 1.搭建虚拟python3环境（Virtualenvwrapper） 2.安装scrapy 前提先安装好pip,setuptools，然后安装以下模块 pip install lxml pip install twisted pip install pyopenssl windows下需要安装py 阅读全文
posted @ 2018-04-21 18:37 中国人醒来了 阅读(277) 评论(0) 推荐(0)
在python3下使用requests,xpath，urllib爬取不得姐网站相关视频爬虫源代码
摘要： #coding=utf-8from lxml import etreeimport requestsimport urllibimport os# 获取url的html等内容def getHtml(url): try: kv = { 'User-Agent': 'Mozilla/5.0 (Macin 阅读全文
posted @ 2018-04-21 15:03 中国人醒来了 阅读(2395) 评论(0) 推荐(0)
python中使用XPath笔记
摘要： XPath在Python的爬虫学习中，起着举足轻重的地位，对比正则表达式 re两者可以完成同样的工作，实现的功能也差不多，但XPath明显比re具有优势，在网页分析上使re退居二线。 XPath介绍： 是什么？ 全称为XML Path Language 一种小型的查询语言 说道XPath是门语言，不 阅读全文
posted @ 2018-04-21 10:31 中国人醒来了 阅读(8202) 评论(0) 推荐(0)
2018年4月17日
python下sqlite增删查改方法（转）
摘要： sqlite读写 #coding=utf-8 import sqlite3 import os #创建数据库和游标 if os.path.exists(' test.db'): conn=sqlite3.connect(' test.db') cur=conn.cursor() else: conn 阅读全文
posted @ 2018-04-17 06:36 中国人醒来了 阅读(472) 评论(0) 推荐(0)
2018年4月12日
你有哪些想要分享的 PyCharm 使用技巧？
摘要： 作者：Light Lin链接：https://www.zhihu.com/question/37787004/answer/75269463来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 JetBrains家的IDE很多技巧是通用的，说一些自己日常用得多但不一定仅限于 阅读全文
posted @ 2018-04-12 19:27 中国人醒来了 阅读(901) 评论(0) 推荐(0)
PEP 8 - Python代码样式指南
摘要： PEP 8 - Python代码样式指南 内容 介绍 愚蠢的一致性是小心灵的大地精 代码布局 缩进 标签或空格？ 最大线路长度 应该在二元运算符之前还是之后断行？ 空白行 源文件编码 进口 模块级别的dunder名称 字符串行情 表达式和语句中的空格 宠物Peeves 其他建议 何时使用尾随逗号 注 阅读全文
posted @ 2018-04-12 19:24 中国人醒来了 阅读(939) 评论(0) 推荐(0)
2018年4月11日
macos 下安装virtualenv,virtualenvwrapper,然后在pycharm中正常配置方法日志
摘要： 1.安装virtualenv或virtualenvwrapper pip install virtualenv pip install virtualenvwraper 注意pip的版本号（查看 pip -V） 2.通过virtualenv配置不同的python虚拟环境 2.1首先通过which p 阅读全文
posted @ 2018-04-11 09:58 中国人醒来了 阅读(256) 评论(0) 推荐(0)
2018年4月6日
最全Python爬虫总结(转载)
摘要： [html] view plain copy 最近总是要爬取一些东西，索性就把Python爬虫的相关内容都总结起来了，自己多动手还是好。 （1）普通的内容爬取（2）保存爬取的图片/视频和文件和网页（3）普通模拟登录（4）处理验证码登录（5）爬取js网站（6）全网爬虫（7）某个网站的站内所有目录爬虫（ 阅读全文
posted @ 2018-04-06 05:47 中国人醒来了 阅读(568) 评论(0) 推荐(0)
Git 常用命令详解
摘要： 转载 Git 是一个很强大的分布式版本管理工具，它不但适用于管理大型开源软件的源代码（如：linux kernel），管理私人的文档和源代码也有很多优势（如：wsi-lgame-pro） Git 的更多介绍，请参考我的上一篇博客：Git 版本管理工具 一、 Git 命令初识 在正式介绍Git命令之前 阅读全文
posted @ 2018-04-06 05:45 中国人醒来了 阅读(269) 评论(0) 推荐(0)