【数据采集与融合】第五次实验
数据挖掘第五次实践
作业一
京东信息爬取实验
作业内容
- 要求：熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架爬取京东商城某类商品信息及图片。
- 候选网站：http://www.jd.com/
- 关键词：学生自由选择
实践过程
复现selenium爬取京东商城，核心爬取代码
def processSpider(self): try: time.sleep(1) print(self.driver.current_url) lis =self.driver.find_elements_by_xpath("//div[@id='J_goodsList']//li[@class='gl-item']") for li in lis: # We find that the image is either in src or in data-lazy-img attribute self.count += 1 # 数量加一 try: src1 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("src") except: src1 = "" try: src2 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("data-lazy-img") except: src2 = "" try: price = li.find_element_by_xpath(".//div[@class='p-price']//i").text except: price = "0" try: note = li.find_element_by_xpath(".//div[@class='p-name p-name-type-2']//em").text mark = note.split(" ")[0] mark = mark.replace("爱心东东\n", "") mark = mark.replace(",", "") note = note.replace("爱心东东\n", "") note = note.replace(",", "") except: note = "" mark = "" self.No = self.No + 1 no = str(self.No) while len(no) < 6: no = "0" + no print(no, mark, price) if src1: src1 = urllib.request.urljoin(self.driver.current_url, src1) p = src1.rfind(".") mFile = no + src1[p:] elif src2: src2 = urllib.request.urljoin(self.driver.current_url, src2) p = src2.rfind(".") mFile = no + src2[p:] if src1 or src2: T = threading.Thread(target=self.download, args=(src1, src2, mFile)) T.setDaemon(False) T.start() self.threads.append(T) else: mFile = "" self.insertDB(no, mark, price, note, mFile) # 插入数据库 if self.count >= 100: # 如果数量超过100退出 print("爬取到了100件商品，结束爬取") return # 取下一页的数据，直到最后一页 try: self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next disabled']") except: nextPage = self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next']") time.sleep(1) nextPage.click() self.processSpider() except Exception as err: print(err)
保存到数据库中的代码
def startUp(self, url, key): # Initializing Chrome browser chrome_options = Options() chrome_options.add_argument('--headless') chrome_options.add_argument('--disable-gpu') self.driver = webdriver.Chrome(chrome_options=chrome_options) # Initializing variables self.threads = [] self.No = 0 self.imgNo = 0 self.count = 0 # 记录商品数量 # Initializing database try: self.con = sqlite3.connect("phones.db") self.cursor = self.con.cursor() try: # 如果有表就删除 self.cursor.execute("drop table phones") except: pass try: sql = "create table phones (mNo varchar(32) primary key, mMark varchar(256),mPrice varchar(32),mNote varchar(1024),mFile varchar(256))" self.cursor.execute(sql) except: pass except Exception as err: print(err) # Initializing images folder try: if not os.path.exists(MySpider.imagePath): os.mkdir(MySpider.imagePath) images = os.listdir(MySpider.imagePath) for img in images: s = os.path.join(MySpider.imagePath, img) os.remove(s) except Exception as err: print(err) self.driver.get(url) # 获取网页 keyInput = self.driver.find_element_by_id("key") # 寻找输入框 keyInput.send_keys(key) # 输入关键词 keyInput.send_keys(Keys.ENTER) def closeUp(self): try: self.con.commit() self.con.close() self.driver.close() except Exception as err: print(err) def insertDB(self, mNo, mMark, mPrice, mNote, mFile): try: sql = "insert into phones (mNo,mMark,mPrice,mNote,mFile) values (?,?,?,?,?)" self.cursor.execute(sql, (mNo, mMark, mPrice, mNote, mFile)) except Exception as err: print(err)
实验结果
控制台结果，我控制了只会爬取100商品
数据库保存结果
图片保存结果：
实验心得
这次实验我巩固了对于selenium爬取网站的知识，深刻学习了selenium相关操作，以及学会了将数据库存储到两种数据库中，包括MYSQL和SQLite，收益匪浅
作业二
MOOC爬取实验
作业内容
-
要求：熟练掌握 Selenium 查找HTML元素、实现用户模拟登录、爬取Ajax网页数据、等待 HTML元素等内容。 使用Selenium框架+MySQL爬取中国mooc网课程资源信息（课程号、课程名称、教学 进度、课程状态，课程图片地址），同时存储图片到本地项目根目录下的imgs文件夹 中，图片的名称用课程名来存储。
-
候选网站：中国mooc网：https://www.icourse163.org
实践过程
1.模拟登录，找到登录按钮，点击登录按钮，找到账号密码输入框，sendkey()输入登录信息，点击登录按钮，唯一一个比较卡壳的地方就是会出现滑块验证，后面去查看百度，有一篇博客里面也遇到了这样的问题，他是使用一个叫 browser.switch_to.frame() 的方法，就不会出现滑块验证，我试了一下确实可以
def search(url): try: browser.get(url) time.sleep(1) # 停顿一秒 browser.find_element_by_xpath('//*[@id="app"]/div/div/div[1]/div[3]/div[3]/div').click() # 点击登录按钮 time.sleep(1) # 停顿一秒 browser.find_element_by_xpath('/html/body/div[13]/div[2]/div/div/div/div/div[2]/span').click() # 点击其他登录方式 time.sleep(1) # 停顿一秒 browser.find_element_by_xpath('/html/body/div[13]/div[2]/div/div/div/div/div/div[1]/div/div[1]/div[1]/ul/li[2]').click() # 点击手机号登录 time.sleep(1) # 停顿一秒 browser.switch_to.frame(browser.find_elements_by_tag_name("iframe")[1]) # 跳转手机登录界面 time.sleep(1) # 停顿一秒 browser.find_element_by_xpath("//input[@id='phoneipt']").send_keys("15160468797") browser.find_element_by_xpath('//input[@placeholder="请输入密码"]').send_keys("@huan301505") # 输入登录信息 time.sleep(1) # 停顿一秒 browser.find_element_by_xpath('//*[@id="submitBtn"]').click() # 点击登录 time.sleep(3) # 停顿三秒，登录进去后 browser.find_element_by_xpath('//*[@id="privacy-ok"]').click() # 点击“我的课程”这个按钮 time.sleep(1) # 停顿一秒 browser.find_element_by_xpath('//*[@id="app"]/div/div/div[1]/div[3]/div[4]/div').click() time.sleep(1) print("课程信息如下：") get_data() # 获取第一页课程数据内容 except Exception as err: print(err)
2.爬取相关信息，并且保存数据
def get_data(): global total_num name_and_img = browser.find_elements_by_xpath('//div[@class="course-card-wrapper"]//div[@class="box"]//div[@class="img"]//img') school = browser.find_elements_by_xpath('//div[@class="course-card-wrapper"]//div[@class="box"]//div[@class="body"]//div[@class="school"]//a') schedule = browser.find_elements_by_xpath('//div[@class="course-card-wrapper"]//div[@class="box"]//div[@class="body"]//div[@class="text"]//a') course_status = browser.find_elements_by_xpath('//div[@class="course-card-wrapper"]//div[@class="box"]//div[@class="body"]//div[@class="course-status"]') for i in range(len(name_and_img)): name = name_and_img[i].get_attribute('alt') # 名称 image_url = name_and_img[i].get_attribute('src') # 图片网址 school_name = school[i].text C_schedule = schedule[i].text C_course_status = course_status[i].text print(name + "\t\t" + school_name + "\t\t" + C_schedule + "\t\t" + C_course_status + "\t\t" + image_url) image_name = "./img/第" + str(page_num) + "页第" + str(i+1) + "张.jpg" # 图片要保存的路径位置 urllib.request.urlretrieve(image_url, filename=image_name) # 保存图片 mooc_DB.insertDB(total_num, name, school_name, C_schedule, C_course_status, image_url) # 插入数据 total_num += 1 # 总数量+1
3.翻页实现，我使用的是.click()的方法，找到下一页的按钮然后直接去点击它，就可以实现翻页
def next_page(): search(url) global page_num while page_num < 2: browser.find_element_by_xpath('//*[@id="j-coursewrap"]/div/div[2]/ul/li[4]/a').click() # 点击下一页 time.sleep(1) page_num += 1 get_data() # 获取我的课程的数据 mooc_DB.closeDB() # 关闭数据库
4.最后还有数据库保存的代码，和前一次代码都很相似，连接，关闭，插入
class mooc: # 打开数据库 def openDB(self): print("open") try: self.con = pymysql.connect(host="127.0.0.1", port=3306, user="root", passwd="huan301505", db="scraw", charset="utf8") # 第一步先连接mysql数据库 self.cursor = self.con.cursor() # 设置游标 # 需要事先在外面创建好一个数据库 self.cursor.execute("delete from mooc") # 清空数据表 self.opened = True except Exception as err: print(err) self.opened = False # 关闭数据库 def closeDB(self): try: if self.opened: self.con.commit() # 提交 self.con.close() # 关闭连接 self.opened = False print("closed") print("爬取成功！") except Exception as err: print(err) # 插入数据库 def insertDB(self, id, name, school, schedule, course_status, image_url): try: self.cursor.execute( "insert into mooc(id,name,school,schedule,course_status,image_url) values (%s,%s,%s,%s,%s,%s)", (id, name, school, schedule, course_status, image_url)) except Exception as err: print(err)
实验结果
控制台结果：
数据库结果，我这个使用的插入mysql，然后查看是使用mysql自带的work_bench可视化界面：
图片保存结果：
实验心得
这次实验我巩固了对于selenium爬取网站的知识，深刻学习了selenium相关操作，以及学会了将数据库存储到两种数据库中，包括MYSQL和SQLite，收益匪浅
作业三
Flume实验
作业内容
-
要求：理解Flume架构和关键特性，掌握使用Flume完成日志采集任务。 完成Flume日志采集实验，包含以下步骤：
任务一：开通MapReduce服务
任务二：Python脚本生成测试数据
任务三：配置Kafka
任务四：安装Flume客户端
任务五：配置Flume采集数据
实践过程
任务一：开通MapReduce服务
这个按照老师发布的pdf一步一步操作，最后开通MRS，进入manager界面如下
任务二：Python脚本生成测试数据
1.打开xshell，建立连接
2.传输autodatapython.py文件到opt/client/文件夹内
3.执行
任务三：配置Kafka
- 首先设置环境变量，执行source命令，使变量生效
- 在kafka中创建topic
- 查看topic信息：
任务四：安装Flume客户端
进入MRS Manager集群管理界面，打开服务管理，点击flume，进入Flume服务，点击下载客户端
解压flume客户端文件，校验文件包，解压“MRS_Flume_ClientConfig.tar”文件
安装flume环境变量
解压flume客户端
安装flume客户端
重启flume服务
任务五：配置Flume采集数据
修改配置文件，直接从外面传入文件
登录master节点，source配置文件，执行如下命令
再开一个窗口，执行2.2.1中的python测试指令，原来的窗口就可以捕获数据
实验心得
这次实验主要介绍了通过Flume来完成实时流数据的采集，初步了解了flume日志采集的相关知识，收益匪浅。
最后附上我的前面作业的代码：数据采集与融合: 数据采集与融合实践作业 - Gitee.com
