随笔分类 -  Python

Python——安居客租房信息爬取（以南昌为例）
摘要：前言： 阅读全文
posted @ 2018-01-24 16:58 HsiehTengK`o 阅读(2003) 评论(0) 推荐(0)
Python——LOL官方商城皮肤信息爬取
摘要：# -*- coding utf-8 -*- import urllib import urllib.request import json import time import xlsxwriter from asyncio.tasks import sleep import re # 根据第一页 阅读全文
posted @ 2017-11-23 17:09 HsiehTengK`o 阅读(894) 评论(0) 推荐(0)
Python——一个简单的进度条的实现
摘要：输出结果如下： 阅读全文
posted @ 2017-11-23 13:30 HsiehTengK`o 阅读(793) 评论(0) 推荐(0)
Python——阶段总结（一）
摘要：1、如果是将数据储存在excel中（存储在数据库中时，不用考虑），最好将结果分阶段保存成单独文件并及时输出时间和进度。 2、可以通过判断以前保存的文件是否存在达到断点续爬的目的，也可以通过此方式，实现多主机共享进度（农村人的分布式爬取^-^，通过建立共享文件夹）。 3、做多重循环时，要考虑清楚循环之 阅读全文
posted @ 2017-11-21 15:39 HsiehTengK`o 阅读(347) 评论(0) 推荐(0)
Python——使用高德API获取指定城指定类别POI并实现XLSX文件合并
摘要：# 以下内容为原创，转载请注明出处 1 import xlrd # 读xlsx 2 import xlsxwriter # 写xlsx 3 import urllib.request # url请求，Python3自带，Python2与3中urllib的区别见：http://blog.csdn.net/Jurbo/article/details/52313636 4 import ... 阅读全文
posted @ 2017-11-17 14:32 HsiehTengK`o 阅读(1971) 评论(0) 推荐(1)
Python——Selenium & Chrome Driver配置
摘要：1、CMD下载安装selenium 2、python运行： 会提示出错：'chromedriver' executable needs to be in PATH 3、安装Chrome Driver：下载地址（注意：最下面不是最新的；安装版本需要和Google Chrome版本相适应，每个版本的No 阅读全文
posted @ 2017-10-30 15:41 HsiehTengK`o 阅读(1711) 评论(0) 推荐(0)
Python——爬取人口迁徙数据（以腾讯迁徙为例）
摘要：说明： 1.迁徙量是腾讯修改后的数值，无法确认真实性。 2.代码运行期间，腾讯迁徙未设置IP屏蔽和浏览器检测，因此下段代码仅能保证发布近期有效。 3.代码功能：爬取指定一天的四十（此四十是根据自己的城市列表而定，可多可少，并无限制）个城市左右的迁徙量（含迁入、迁出）。 结果展示： 阅读全文
posted @ 2017-10-18 16:55 HsiehTengK`o 阅读(10681) 评论(5) 推荐(2)
Python——合并指定文件夹下的所有excel文件
摘要：前提：该文件夹下所有文件有表头且具有相同的表头。 该段代码可以通过更改表头和location直接使用。 阅读全文
posted @ 2017-10-18 16:43 HsiehTengK`o 阅读(9645) 评论(0) 推荐(1)
Python——错误笔记
摘要：1、同一个项目（Project）下，不同的库（Package）之间默认不相互引用，注意这样的错误： 2、使用sklearn之前，需要安装scipy库 阅读全文
posted @ 2017-10-09 17:25 HsiehTengK`o 阅读(205) 评论(0) 推荐(0)
Python——将高德坐标（GCJ02）转换为GPS（WGS84）坐标
摘要：1 # 官方API: http://lbs.amap.com/api/webservice/guide/api/convert 2 # 坐标体系说明：http://lbs.amap.com/faq/top/coordinate/3 3 # GCJ02->WGS84 Java版本：http://www.cnblogs.com/xinghuangroup/p/5787306.html 4 #... 阅读全文
posted @ 2017-10-09 13:36 HsiehTengK`o 阅读(13093) 评论(0) 推荐(1)
Python——使用高德API获取POI（以深圳南山医疗保健服务POI为例）
摘要：以下内容为原创，转载请注明出处。 注：页面过大时，部分单元格有概率出现重写错误（猜测和原页面每页数据不完整有关），因为设置了报错，不影响运行。但会导致极小部分POI丢失。 阅读全文
posted @ 2017-09-30 18:06 HsiehTengK`o 阅读(5745) 评论(0) 推荐(1)
Python——Beautiful Soup 4.2.0 中文文档
摘要：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/index.html#id14 阅读全文
posted @ 2017-09-03 01:40 HsiehTengK`o 阅读(628) 评论(0) 推荐(0)
Python——built-in module Help: math
摘要：1 Help on built-in module math: 2 NAME 3 math 4 DESCRIPTION 5 This module is always available. It provides access to the 6 mathematical functions defined by the C standard. ... 阅读全文
posted @ 2017-09-03 01:38 HsiehTengK`o 阅读(452) 评论(0) 推荐(0)
Eclipse——在eclipse上安装Pydev插件实现python编程
摘要：介绍：2003年7月16日，以 Fabio Zadrozny 为首的三人开发小组在全球最大的开放源代码软件开发平台和仓库 SourceForge 上注册了一款新的项目，该项目实现了一个功能强大的 Eclipse插件，用户可以完全利用 Eclipse 来进行 Python 应用程序的开发和调试。这个能 阅读全文
posted @ 2017-09-03 00:49 HsiehTengK`o 阅读(510) 评论(0) 推荐(0)
Python——各类库的安装（持续更新）
摘要：一、BeautifulSoup 说明：www.crummy.com：Beautiful Soup 3只能在python2.x版本中运行,而Beautiful Soup 4还可以在python3.x版本中运行.Beautiful Soup 4速度更快,特性更多,而且与第三方的文档解析库(如lxml和h 阅读全文
posted @ 2017-09-01 21:29 HsiehTengK`o 阅读(751) 评论(0) 推荐(0)
Python——正则表达式初步应用（一）
摘要：1、先附上转载(www.cnblogs.com/huxi)的一张图，有重要的参考价值，其含义大家请通过阅读来理解。 2、附上初步学习Python时编写的一个爬糗事百科段子的代码。 3、查看网页源代码，发现我们所需要的内容具备如下的结构： 标黄的使我们关注的两部分内容，一是文章编号，提取后名为文本文件 阅读全文
posted @ 2017-08-31 17:06 HsiehTengK`o 阅读(305) 评论(0) 推荐(0)
Python——一个简单的类的创建和应用
摘要：1、创建类，设置属性和给属性设定默认值，设置方法并访问类的属性； 2、利用类创建多个实例，以及调用类的方法的两种办法； 3、设置更新属性的函数，并更新实例的属性。 阅读全文
posted @ 2017-08-31 14:44 HsiehTengK`o 阅读(526) 评论(0) 推荐(0)
Python——Python+Pydev出现SyntaxError: Non-UTF-8 code
摘要：搭建好Python+Pydev后发现每次输入中文，包括注释，会出现语法错误提示，如： 可通过下面方法解决。 1、在Pydev Project中右键选择properties， 2、在Text file encoding中选择UTF-8编码方式即可。 3、由于默认为gbk编码，所有将coding改为gb 阅读全文
posted @ 2017-08-31 13:34 HsiehTengK`o 阅读(419) 评论(0) 推荐(0)
Python——使用第三方库Pillow生成图片缩略图
摘要：流程如下： 1、首先确认是否安装了pip 在命令提示符窗口下输入pip，如果Windows提示未找到命令，可以重新运行安装程序添加pip。 2、在命令提示符窗口下输入pip install Pillow，注意：P一定大写。 等待下载安装完成，根据网速的不同，时间约有3-10分钟左右。 3、第一步导入 阅读全文
posted @ 2017-08-30 16:38 HsiehTengK`o 阅读(4786) 评论(0) 推荐(0)