随笔分类 - Python
摘要：Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py", line 1318, in do_open enc
阅读全文
摘要：安装和使用 fake_useragent第三方库，来实现随机请求头的设置； GitHub > https://github.com/hellysmile/fake-useragent 安装 > pip3 install fake-useragent 查看useragent > http://fake
阅读全文
摘要：问题在学爬虫，Python 版本是2.7，安装的lxml包是4.3的，在 from lxml import etree 时发现一直报错，网上查询，原来是Python版本和lxml包版本不一致导致的。 解决办法python2.7 用的是lxml-3.8.0-cp27-cp27m-win_amd64.w
阅读全文
摘要：出现此提示表示系统中没有安装PyMySQL，可以通过pip PyMySQL进行安装。 安装之后，执行import pymysql仍然不可用！ why？ 检查后发现系统中存在python2与python3两个版本的python，执行pip PyMySQL后默认将pymysql安装到了python2之下
阅读全文
摘要：再安装包的时候提示 You are using pip version 9.0.3, however version 10.0.1 is available.You should consider upgrading via the 'python -m pip install --upgrade
阅读全文
摘要：在使用 Python 做爬虫的时候，我们需要伪装头部信息骗过网站的防爬策略，Python 中的第三方模块 fake_useragent 就很好的解决了这个问题，它将给我们返回一个随机封装了好的头部信息，我们直接使用即可 fake_useragent 的使用安装 fake_useragent pip
阅读全文
摘要：版权归作者所有，任何形式转载请联系作者。作者：为什么不是学霸（来自豆瓣）来源：https://www.douban.com/note/696046743/ # 适用于0基础 1、安装好python。 2、配置好python的环境变量，将python的安装路径C:\Python27配置在path中。（
阅读全文
摘要：调用beautifulsoup库时，运行后提示错误： ImportError: No module named bs4 ， 意思就是没有找到bs4模块，所以解决方法就是将bs4安装上，具体步骤如下： 1.下载bs4：https://www.crummy.com/software/BeautifulS
阅读全文
摘要：给出定义： re.sub的功能 re是regular expression的所写，表示正则表达式 sub是substitute的所写，表示替换； re.sub是个正则表达式方面的函数，用来实现通过正则表达式，实现比普通字符串的replace更加强大的替换功能； 举个最简单的例子： 如果输入字符串是：
阅读全文
摘要：啊啊啊啊我又来了，真的是万事开头难啊，一个问题刚解决，又来了一个问题。。依旧跟着视频教学，说“re"这里按Ctrl+e导入正则表达式，可我弄了半天也没有反应。。以至于最后的运行结果就是这样。。。 所以我又去各种百度找解决方法，试了安装什么Rejex Util 也没有解决，完全不知所云。。就在此时，想
阅读全文
摘要：又是一年双十一了，不知道从什么时候开始，双十一从“光棍节”变成了“双十一购物狂欢节”，最后一个属于单身狗的节日也成功被攻陷，成为了情侣们送礼物秀恩爱的节日。 翻着安静到死寂的聊天列表，我忽然惊醒，不行，我们不能这样下去，光羡慕别人有什么用，我们要行动起来，去找自己的幸福！！！ 我也想“谈不分手的恋爱
阅读全文
摘要：解决方法：添加参数 encoding='utf_8_sig' df.to_csv('users.csv', encoding='utf_8_sig')
阅读全文
摘要：本博客可能没有那么规范，环境之类的配置。只是让你直接开始编程写python。 至于各种配置网络上有多种方法。 本文仅代表我的观点的一种方法。 电脑环境：win10 64位 第一步：下载python。 网址：https://www.python.org/downloads/windows/ 点击并打开
阅读全文
摘要：wheel文件本质上就是zip或者rar,只不过他更加方便python的安装以及使用。在之前的图片中我们只要使用pip install wheel 就可以安装wheel。 在安装了wheel之后我们可以使使用pip install XXX.whl来安装.whl的文件了。（这里的XXX.whl是whe
阅读全文
摘要：1.首先查询当前的工作路径： import osos.getcwd() #获取当前工作路径2.to_csv()是DataFrame类的方法，read_csv()是pandas的方法dt.to_csv() #默认dt是DataFrame的一个实例，参数解释如下 路径 path_or_buf: A st
阅读全文
摘要：当使用pd.read_csv()方法读取csv格式文件的时候，常常会因为csv文件中带有中文字符而产生字符编码错误，造成读取文件错误，在这个时候，我们可以尝试将pd.read_csv()函数的encoding参数设置为"gbk"或者"utf-8"。(这个方法在上一篇博客有介绍) 据我个人经验总结（如
阅读全文
摘要：目测是安转pandas库之后pycharm对库的检索没有更新。(能理解意思就行，我也是小白，不会专业术语，刚巧我也遇到了这样的问题所以来回答)我当时解决这个问题也算是瞎猫遇见死耗子。 <img src="https://pic4.zhimg.com/v2-5fb6ddcd0e0
阅读全文
摘要：问题引入： 今天在学习Python网络请求的时候，导入requests模块时一直报红色波浪线，如图： 反复折腾，一直以为自己没有安装requests模块，反复安装反复卸载： 安装方法： 首先 cd 进入C:\Python27\Scripts 执行 pip install requests 命令可以自
阅读全文
摘要：好，现在进入高阶代码篇。 目的： 爬取昆明市中学的兴趣点POI。 关键词：中学 已有ak：9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO 昆明市坐标范围： 左下角：24.390894，102.174112 右上角：26.548645，103.678942 URL模板： http:/
阅读全文
摘要：在网上找了很多关于爬取百度POI的文章，但是对“全量”的做法并没有得到最终的解决方案，自己写了一个，但还是不能实现全量POI抓取，能够达到至少50%的信息抓取。注意：这里所指“全量”是能够达到100%的POI信息获取。以下是自己写的代码可直接复制粘贴使用,只针对重庆主城区的。 # -*- codin
阅读全文