2019年9月10日

scrapy获取高德地图的城市数据

摘要: #spider页业务逻辑如下:import scrapyimport jsonclass AmapSpider(scrapy.Spider): name = 'amap' allowed_domains = ['amap.com'] start_urls = ['https://www.amap.c 阅读全文

posted @ 2019-09-10 11:34 笑来 阅读(220) 评论(0) 推荐(0)

2019年9月5日

选择器庥合

摘要: beautifulsoup选择器: soup.title soup.title.name soup.body soup.p['name']获取标签属性 soup.p.attrs['name'] soup.p.string 获取标签内的内容 soup.p.children 子节点获取 soup.p.p 阅读全文

posted @ 2019-09-05 10:42 笑来 阅读(91) 评论(0) 推荐(0)

2019年9月2日

lxml模块写的小爬虫及xpath一些用法

摘要: #本节学习lxml模块和xpathstr =""" <div class="wrapper"> <i class="iconfont icon-back" id="back">唐浩</i> <a href="/" id="channel">新浪社会</a> <ul id="nav"> <li><a 阅读全文

posted @ 2019-09-02 15:43 笑来 阅读(209) 评论(0) 推荐(0)

2019年9月1日

python的os模块、open参数详解

摘要: #os模块学习import os""" os.sep:取代操作系统特定的路径分隔符 os.name:指示你正在使用的工作平台。比如对于Windows,它是'nt',而对于Linux/Unix用户,它是'posix'。os.getcwd:得到当前工作目录,即当前python脚本工作的目录路径。 os. 阅读全文

posted @ 2019-09-01 16:10 笑来 阅读(841) 评论(0) 推荐(0)

一个很小的爬虫,演示了爬一首词,后存进txt文件中去

摘要: 一个很小的爬虫,演示了爬一首词,后对数据进行清洗,后存进txt文件中去 阅读全文

posted @ 2019-09-01 15:16 笑来 阅读(396) 评论(0) 推荐(0)

正则表达式相关,python的re库

摘要: import re# #正则模块很重要# f=open("tanghao.txt","r",encoding="utf-8")# data=f.read()# phone=re.findall("1[0-9]{10}",data) #用正则来查找我们要的数据,很方便# #得到列表了['1305661 阅读全文

posted @ 2019-09-01 12:43 笑来 阅读(193) 评论(0) 推荐(0)

Pandas库10_存取json和excel文件

摘要: #json文件:javascript object notationimport numpy as npimport pandas as pd t_data={ "name":["唐浩","小王","老王","赵三","李四","王姐"], "sex":["男","女","男","女","男","女 阅读全文

posted @ 2019-09-01 11:40 笑来 阅读(1132) 评论(0) 推荐(0)

Pandas库09_存取txt文件

摘要: import numpy as np import pandas as pd #创建一个txt文件 # ft=open("temp04.txt","a+",encoding="utf-8") # ft.writelines("id?name?grade"+"\n") # ft.writelines( 阅读全文

posted @ 2019-09-01 11:38 笑来 阅读(568) 评论(0) 推荐(0)

Pandas库08_存取CSV文件

摘要: #学会csv、txt文件的读取与存储,了解pandas函数的参数的使用#JSON与Excel数据,学会对JSON与Excel数据的读取与存储import numpy as npimport pandas as pd t_data={ "name":["唐浩","小王","老王","赵三","李四", 阅读全文

posted @ 2019-09-01 11:37 笑来 阅读(201) 评论(0) 推荐(0)

Pandas库07_层次化索引

摘要: import numpy as npimport pandas as pd t_data={ "name":["唐浩","小王","老王","赵三","李四","王姐"], "sex":["男","女","男","女","男","女"], "year":[37,22,15,18,33,25], &q 阅读全文

posted @ 2019-09-01 11:33 笑来 阅读(145) 评论(0) 推荐(0)

导航