brady-wang - 博客园

2018年9月21日

摘要： Python对文件的操作还算是方便的，只需要包含os模块进来，使用相关函数即可实现目录的创建。主要涉及到三个函数 1、os.path.exists(path) 判断一个目录是否存在 2、os.makedirs(path) 多层创建目录 3、os.mkdir(path) 创建目录 DEMO 直接上代阅读全文

posted @ 2018-09-21 14:36 brady-wang 阅读(473) 评论(0) 推荐(0)

git因commit的记录太大导致push失败解决方法

摘要：发现好像这个方法不好使。。。。。。。~~！还是会失败如果有人或者自己失误把不该同步的大文件如数据或日志或其他中间文件给commit了并且push了，然后你删掉了，但是其实他仍然在你的git记录中，你的整个项目仍然会非常大，主要是当时的那个删除你没有用git rm，但总之你想清理就很麻烦了现在，或者阅读全文

posted @ 2018-09-21 08:01 brady-wang 阅读(2322) 评论(0) 推荐(0)

爬虫学习之-git拉取远程错误

摘要：本文讲的是把git在最新2.9.2，合并pull两个不同的项目，出现的问题如何去解决如果合并了两个不同的开始提交的仓库，在新的 git 会发现这两个仓库可能不是同一个，为了防止开发者上传错误，于是就给下面的提示 fatal: refusing to merge unrelated historie 阅读全文

posted @ 2018-09-21 07:35 brady-wang 阅读(244) 评论(0) 推荐(0)

2018年9月20日

爬虫学习之-python插入mysql报错

摘要：异常：'latin-1' codec can't encode characters in position 62-66: ordinal not in range(256) 用Python通过pymysql往MySQL数据库中插入数据时，插入的字段含有中文，出现异常： 'latin-1' code 阅读全文

posted @ 2018-09-20 20:18 brady-wang 阅读(349) 评论(0) 推荐(0)

爬虫学习之-操作mysql

摘要：在操作数据库的时候，python2中一般使用mysqldb，但在python3中已经不在支持mysqldb了，我们可以用pymysql和mysql.connector。本文的所有操作都是在python3的pymysql下完成的。一、基本操作 (1) 查询 import pymysql conn = 阅读全文

posted @ 2018-09-20 20:13 brady-wang 阅读(301) 评论(0) 推荐(0)

爬虫学习之-sqlite3

摘要： SQLlte数据类型创建数据库，创建表如果要使用SQL必须要导入sqlite3库。添加数据要添加一些数据到表中，需要使用insert命令和一些特殊的格式。查询数据 (*) 告诉数据库给出所有内容。 code: 阅读全文

posted @ 2018-09-20 15:41 brady-wang 阅读(323) 评论(0) 推荐(0)

爬虫学习之-Python list 和 str 互转

摘要：一、list转字符串命令：''.join(list)其中，引号中是字符之间的分割符，如“,”，“;”，“\t”等等如：list = [1, 2, 3, 4, 5]''.join(list) 结果即为：12345','.join(list) 结果即为：1,2,3,4,5 二、字符串转list pri 阅读全文

posted @ 2018-09-20 14:04 brady-wang 阅读(792) 评论(0) 推荐(0)

爬虫学习之-urlparse之urljoin()

摘要：首先导入模块，用help查看相关文档 1 意思就是将基地址与一个相对地址形成一个绝对地址，然而讲的太过抽象 1 意思就是将基地址与一个相对地址形成一个绝对地址，然而讲的太过抽象 1 意思就是将基地址与一个相对地址形成一个绝对地址，然而讲的太过抽象意思就是将基地址与一个相对地址形成一个绝对地址，然而阅读全文

posted @ 2018-09-20 12:55 brady-wang 阅读(594) 评论(0) 推荐(0)

爬虫学习之-xpath

摘要：栗子 1、id 获取id 的属性值 2、starts-with 顾名思义，匹配一个属性开始位置的关键字 -- 模糊定位 3、contains 匹配一个属性值中包含的字符串 -- 模糊定位 4、text() 函数文本定位 5、last() 函数位置定位 eg <a id="setf" href="/ 阅读全文

posted @ 2018-09-20 12:44 brady-wang 阅读(240) 评论(0) 推荐(0)

2018年9月19日

7160测试

摘要： #coding=utf-8 import requests from lxml import etree import urllib url = 'http://www.7160.com/zhenrenxiu/56786/' def parse_content(content): tree = etree.HTML(content) title = tree.xpath("/h... 阅读全文

posted @ 2018-09-19 22:33 brady-wang 阅读(671) 评论(0) 推荐(0)

风行天下

天地不仁以万物为刍狗

公告

风行天下

天地不仁 以万物为刍狗

公告

天地不仁以万物为刍狗