上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 25 下一页
摘要: python中实现多线程⾮常简单. 借助Thread类来完成. # 线程, 进程 # 进程是资源单位, 每一个进程至少要有一个线程 # 线程是执行单位 # 启动每一个程序默认都会有一个主线程 # def func(): # for i in range(1000): # print("func", 阅读全文
posted @ 2021-04-30 19:26 {hunter}ZY 阅读(46) 评论(0) 推荐(0)
摘要: 综合练习,抓取⽹易云⾳乐评论信息,包括之前所有的学到的爬虫知识,代码: # 1. 找到未加密的参数 # window.arsea(参数, xxxx,xxx,xxx) # 2. 想办法把参数进行加密(必须参考网易的逻辑), params => encText, encSecKey => encSecK 阅读全文
posted @ 2021-04-28 18:41 {hunter}ZY 阅读(72) 评论(0) 推荐(0)
摘要: 抓取梨视频(防盗链) import requests url = "https://www.pearvideo.com/video_1713901" contId = url.split("_")[1] print(contId) videoStatus_url = f"https://www.pe 阅读全文
posted @ 2021-04-27 18:20 {hunter}ZY 阅读(65) 评论(0) 推荐(0)
摘要: xpath练习:抓取猪⼋戒数据 # 拿到页面源代码 # 提取和解析数据 import requests from lxml import etree url = "https://beijing.zbj.com/search/f/?type=new&kw=saas" resp = requests. 阅读全文
posted @ 2021-04-26 17:16 {hunter}ZY 阅读(65) 评论(0) 推荐(0)
摘要: 多少改了一些人家源码里的布局,大致就改成左边显示城市列表,右边显示两个柱状图,一个代表城市拥堵状况,一个代表区域拥堵状况。这是第一个界面。第二个界面相对而言就好写了一些,大致布局和第一个一样,就是右边显示的是中国地图,表示的是人口迁徙的状况。 至此前端界面大致布局完成。 阅读全文
posted @ 2021-04-25 21:10 {hunter}ZY 阅读(19) 评论(0) 推荐(0)
摘要: xpath解析:XPath是一⻔在 XML 文档中查找信息的语言. XPath可用来在 XML文档中对元素和属性进行遍历. 而我们熟知的HTML恰巧属于XML的一个子集. 所以完全可以用xpath去查找html中的内容. 案例(注意:有的时候别人代码是直接引入etree,但我的会报错,解决方法就是引 阅读全文
posted @ 2021-04-25 18:33 {hunter}ZY 阅读(44) 评论(0) 推荐(0)
摘要: 下载:pip install aiohttp 案例练习:爬取优美图库图片 # requests.get() 同步的代码 -> 异步操作aiohttp # pip install aiohttp import asyncio import aiohttp urls = [ "http://kr.sha 阅读全文
posted @ 2021-04-24 22:34 {hunter}ZY 阅读(103) 评论(0) 推荐(0)
摘要: 今天就要开始写前端展示的页面,这个我一直不太会写那些css样式还有HTML的布局,有些头皮发麻,,所幸之前在b站上找到了一个前端展示界面的教程,和我想要的效果挺像的, 页面源码位置:C:\Users\Lenovo\Desktop\eckarts_open_class 自己写的进度代码路径:C:\Us 阅读全文
posted @ 2021-04-24 22:09 {hunter}ZY 阅读(21) 评论(0) 推荐(0)
摘要: 经过长时间思考和搜索,终于发现插不进去的原因是我的sql语句里面的数据名与mysql关键字重复....有点难受,就这卡了至少大几个小时。 改了数据名之后也是成功插了进去,但有的表需要每次都更新,所以就在操作那些表的函数里的开头写了点代码让它每次执行先删除 阅读全文
posted @ 2021-04-23 20:15 {hunter}ZY 阅读(22) 评论(0) 推荐(0)
摘要: 第一天 今天是准备爬取高德大数据代码,主要爬取道路和区域拥堵数据,要按f12在network里面找存放当前时刻数据的文件,所有城市信息在https://trp.autonavi.com/ajax/getCityInfo.do?里面保存,道路信息在 https://trp.autonavi.com/a 阅读全文
posted @ 2021-04-22 21:04 {hunter}ZY 阅读(50) 评论(0) 推荐(0)
上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 25 下一页