S++

千线一眼

导航

2022年3月8日 #

python爬虫-bs4解析

摘要: bs4解析概述 bs4解析技术是python独有的一种数据解析方式 bs4实现数据解析原理: 实例化一个BeautifulSoup对象,并将页面源码加载到该数据中 加载本地的html # 本地加载 fp1 = open("../data2/test.html", 'r', encoding="utf 阅读全文

posted @ 2022-03-08 21:26 S++ 阅读(197) 评论(0) 推荐(0)

hadoop入门(12):hdfs的读写流程

摘要: hdfs的写入流程 文件具体上传流程如下: 创建文件: HDFS client向HDFS写数据先调用DistributedFileSystem.create() RPC调用namenode的create()方法,会在HDFS目录树中指定路径,添加新文件;并将操作记录在edits.log中。namen 阅读全文

posted @ 2022-03-08 18:16 S++ 阅读(204) 评论(0) 推荐(0)