随笔分类 - Python爬虫数据可视化
摘要:前提条件: 熟悉认知新的编程工具(jupyter notebook) 1、安装:采用pip的方式来安装Jupyter。输入安装命令pip install jupyter即可; 2、启动:安装完成后,我们可在如下目录找到jupyter-notebook这个应用;双击启动 如下图所示: 3、打开浏览器编
阅读全文
摘要:Python书写爬虫,目的是爬取所有的个人商家商品信息及详情,并进行数据归类分析 整个工作流程图: 第一步:采用自动化的方式从前台页面获取所有的频道 第二步:通过第一步获取的所有频道去获取所有的列表详情,并存入URL_list表中,同时获取商品详情信息 第三步:采用多进程的方式的main主函数入口
阅读全文
摘要:我们在写 CSS 时,标签名不加任何修饰,类名前加点,id名前加 #,在这里我们也可以利用类似的方法来筛选元素,用到的方法是 soup.select(),返回类型是 list(1)通过标签名查找 (2)通过类名查找 (3)通过 id 名查找 (4)组合查找 组合查找即和写 class 文件时,标签名
阅读全文
摘要:使用requests方法后,会返回一个response对象,其存储了服务器响应的内容:如下r表示get请求后的响应对象r = requests.get('http://hz.58.com/sale.shtml')其他响应:r.status_code #响应状态码r.raw #返回原始响应体,也就是
阅读全文
摘要:1、安装完mongoDb数据库后,如果需要我们的Python程序和MongoDb数据库进行交互,需要安装pymongo模块; 安装方式:采用pip install pymongo的方式 2、Pycharm如何设置MongoDb数据库的可视化 步骤一: 简单链接MongoDb:
阅读全文

浙公网安备 33010602011771号