【数据采集与融合】第五次实验

数据挖掘第五次实践

作业一

京东信息爬取实验

作业内容

  1. 要求:熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架爬取京东商城某类商品信息及图片。
  2. 候选网站:http://www.jd.com/
  3. 关键词:学生自由选择

实践过程

复现selenium爬取京东商城,核心爬取代码

    def processSpider(self):
        try:
            time.sleep(1)
            print(self.driver.current_url)
            lis =self.driver.find_elements_by_xpath("//div[@id='J_goodsList']//li[@class='gl-item']")
            for li in lis:
            # We find that the image is either in src or in data-lazy-img attribute
                self.count += 1  # 数量加一
                try:
                    src1 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("src")
                except:
                    src1 = ""
                try:
                    src2 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("data-lazy-img")
                except:
                    src2 = ""

                try:
                    price = li.find_element_by_xpath(".//div[@class='p-price']//i").text
                except:
                    price = "0"

                try:
                    note = li.find_element_by_xpath(".//div[@class='p-name p-name-type-2']//em").text
                    mark = note.split(" ")[0]
                    mark = mark.replace("爱心东东\n", "")
                    mark = mark.replace(",", "")
                    note = note.replace("爱心东东\n", "")
                    note = note.replace(",", "")

                except:
                    note = ""
                    mark = ""
                self.No = self.No + 1
                no = str(self.No)
                while len(no) < 6:
                    no = "0" + no
                print(no, mark, price)
                if src1:
                    src1 = urllib.request.urljoin(self.driver.current_url, src1)
                    p = src1.rfind(".")
                    mFile = no + src1[p:]
                elif src2:
                    src2 = urllib.request.urljoin(self.driver.current_url, src2)

                    p = src2.rfind(".")
                    mFile = no + src2[p:]
                if src1 or src2:
                    T = threading.Thread(target=self.download, args=(src1, src2, mFile))
                    T.setDaemon(False)
                    T.start()
                    self.threads.append(T)
                else:
                    mFile = ""
                self.insertDB(no, mark, price, note, mFile)  # 插入数据库
                if self.count >= 100:   # 如果数量超过100退出
                    print("爬取到了100件商品,结束爬取")
                    return
                # 取下一页的数据,直到最后一页
                try:
                    self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next disabled']")
                except:
                    nextPage = self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next']")
                    time.sleep(1)
                    nextPage.click()
                    self.processSpider()
        except Exception as err:
                print(err)

保存到数据库中的代码

    def startUp(self, url, key):
        # Initializing Chrome browser
        chrome_options = Options()
        chrome_options.add_argument('--headless')
        chrome_options.add_argument('--disable-gpu')
        self.driver = webdriver.Chrome(chrome_options=chrome_options)

        # Initializing variables
        self.threads = []
        self.No = 0
        self.imgNo = 0
        self.count = 0  # 记录商品数量
        # Initializing database
        try:
            self.con = sqlite3.connect("phones.db")
            self.cursor = self.con.cursor()
            try:
                # 如果有表就删除
                self.cursor.execute("drop table phones")
            except:
                pass
            try:
                sql = "create  table  phones  (mNo  varchar(32) primary key, mMark varchar(256),mPrice varchar(32),mNote varchar(1024),mFile varchar(256))"
                self.cursor.execute(sql)
            except:
                pass
        except Exception as err:
            print(err)
        # Initializing images folder
        try:
            if not os.path.exists(MySpider.imagePath):
                os.mkdir(MySpider.imagePath)
            images = os.listdir(MySpider.imagePath)
            for img in images:
                s = os.path.join(MySpider.imagePath, img)
                os.remove(s)
        except Exception as err:
            print(err)
        self.driver.get(url)   # 获取网页
        keyInput = self.driver.find_element_by_id("key")  # 寻找输入框
        keyInput.send_keys(key)   # 输入关键词
        keyInput.send_keys(Keys.ENTER)

    def closeUp(self):
        try:

            self.con.commit()
            self.con.close()
            self.driver.close()

        except Exception as err:
            print(err)


    def insertDB(self, mNo, mMark, mPrice, mNote, mFile):
        try:
            sql = "insert into phones (mNo,mMark,mPrice,mNote,mFile) values (?,?,?,?,?)"
            self.cursor.execute(sql, (mNo, mMark, mPrice, mNote, mFile))
        except Exception as err:
            print(err)

实验结果

控制台结果,我控制了只会爬取100商品

 

 

 数据库保存结果

 

 

 图片保存结果:

 

 

 实验心得

这次实验我巩固了对于selenium爬取网站的知识,深刻学习了selenium相关操作,以及学会了将数据库存储到两种数据库中,包括MYSQL和SQLite,收益匪浅

作业二

MOOC爬取实验

作业内容

  1. 要求:熟练掌握 Selenium 查找HTML元素、实现用户模拟登录、爬取Ajax网页数据、等待 HTML元素等内容。 使用Selenium框架+MySQL爬取中国mooc网课程资源信息(课程号、课程名称、教学 进度、课程状态,课程图片地址),同时存储图片到本地项目根目录下的imgs文件夹 中,图片的名称用课程名来存储。

  2. 候选网站:中国mooc网:https://www.icourse163.org

实践过程

1.模拟登录,找到登录按钮,点击登录按钮,找到账号密码输入框,sendkey()输入登录信息,点击登录按钮,唯一一个比较卡壳的地方就是会出现滑块验证,后面去查看百度,有一篇博客里面也遇到了这样的问题,他是使用一个叫 browser.switch_to.frame() 的方法,就不会出现滑块验证,我试了一下确实可以

def search(url):
    try:
        browser.get(url)
        time.sleep(1)  # 停顿一秒
        browser.find_element_by_xpath('//*[@id="app"]/div/div/div[1]/div[3]/div[3]/div').click()
        # 点击登录按钮
        time.sleep(1)  # 停顿一秒
        browser.find_element_by_xpath('/html/body/div[13]/div[2]/div/div/div/div/div[2]/span').click()
        # 点击其他登录方式
        time.sleep(1)  # 停顿一秒
        browser.find_element_by_xpath('/html/body/div[13]/div[2]/div/div/div/div/div/div[1]/div/div[1]/div[1]/ul/li[2]').click()
        # 点击手机号登录
        time.sleep(1)  # 停顿一秒
        browser.switch_to.frame(browser.find_elements_by_tag_name("iframe")[1])
        # 跳转手机登录界面
        time.sleep(1)  # 停顿一秒
        browser.find_element_by_xpath("//input[@id='phoneipt']").send_keys("15160468797")
        browser.find_element_by_xpath('//input[@placeholder="请输入密码"]').send_keys("@huan301505")
        # 输入登录信息
        time.sleep(1)  # 停顿一秒
        browser.find_element_by_xpath('//*[@id="submitBtn"]').click()
        # 点击登录
        time.sleep(3)  # 停顿三秒,登录进去后
        browser.find_element_by_xpath('//*[@id="privacy-ok"]').click()
        # 点击“我的课程”这个按钮
        time.sleep(1)  # 停顿一秒
        browser.find_element_by_xpath('//*[@id="app"]/div/div/div[1]/div[3]/div[4]/div').click()
        time.sleep(1)
        print("课程信息如下:")
        get_data()  # 获取第一页课程数据内容
    except Exception as err:
        print(err)

2.爬取相关信息,并且保存数据

def get_data():
    global total_num
    name_and_img = browser.find_elements_by_xpath('//div[@class="course-card-wrapper"]//div[@class="box"]//div[@class="img"]//img')
    school = browser.find_elements_by_xpath('//div[@class="course-card-wrapper"]//div[@class="box"]//div[@class="body"]//div[@class="school"]//a')
    schedule = browser.find_elements_by_xpath('//div[@class="course-card-wrapper"]//div[@class="box"]//div[@class="body"]//div[@class="text"]//a')
    course_status = browser.find_elements_by_xpath('//div[@class="course-card-wrapper"]//div[@class="box"]//div[@class="body"]//div[@class="course-status"]')
    for i in range(len(name_and_img)):
        name = name_and_img[i].get_attribute('alt')  # 名称
        image_url = name_and_img[i].get_attribute('src')  # 图片网址
        school_name = school[i].text
        C_schedule = schedule[i].text
        C_course_status = course_status[i].text
        print(name + "\t\t" + school_name + "\t\t" + C_schedule + "\t\t" + C_course_status + "\t\t" + image_url)
        image_name = "./img/第" + str(page_num) + "页第" + str(i+1) + "张.jpg"  # 图片要保存的路径位置
        urllib.request.urlretrieve(image_url, filename=image_name)  # 保存图片
        mooc_DB.insertDB(total_num, name, school_name, C_schedule, C_course_status, image_url)  # 插入数据
        total_num += 1 # 总数量+1

3.翻页实现,我使用的是.click()的方法,找到下一页的按钮然后直接去点击它,就可以实现翻页

def next_page():
    search(url)
    global page_num
    while page_num < 2:
        browser.find_element_by_xpath('//*[@id="j-coursewrap"]/div/div[2]/ul/li[4]/a').click()
        # 点击下一页
        time.sleep(1)
        page_num += 1
        get_data()  # 获取我的课程的数据
    mooc_DB.closeDB()  # 关闭数据库

4.最后还有数据库保存的代码,和前一次代码都很相似,连接,关闭,插入

class mooc:
    # 打开数据库
    def openDB(self):
        print("open")
        try:
            self.con = pymysql.connect(host="127.0.0.1", port=3306, user="root",
                                       passwd="huan301505", db="scraw", charset="utf8")
            # 第一步先连接mysql数据库
            self.cursor = self.con.cursor()  # 设置游标
            # 需要事先在外面创建好一个数据库
            self.cursor.execute("delete from mooc")  # 清空数据表
            self.opened = True
        except Exception as err:
            print(err)
            self.opened = False

    # 关闭数据库
    def closeDB(self):
        try:
            if self.opened:
                self.con.commit()  # 提交
                self.con.close()  # 关闭连接
                self.opened = False
            print("closed")
            print("爬取成功!")
        except Exception as err:
            print(err)

    # 插入数据库
    def insertDB(self, id, name, school, schedule, course_status, image_url):
        try:
            self.cursor.execute(
                "insert into mooc(id,name,school,schedule,course_status,image_url) values (%s,%s,%s,%s,%s,%s)",
                (id, name, school, schedule, course_status, image_url))
        except Exception as err:
            print(err)

实验结果

控制台结果:

 

 

 

 数据库结果,我这个使用的插入mysql,然后查看是使用mysql自带的work_bench可视化界面:

 

 

 

 图片保存结果:

 

 

 

 实验心得

这次实验我巩固了对于selenium爬取网站的知识,深刻学习了selenium相关操作,以及学会了将数据库存储到两种数据库中,包括MYSQL和SQLite,收益匪浅

 

作业三

Flume实验

作业内容

  1. 要求:理解Flume架构和关键特性,掌握使用Flume完成日志采集任务。 完成Flume日志采集实验,包含以下步骤:

    任务一:开通MapReduce服务

    任务二:Python脚本生成测试数据

    任务三:配置Kafka

    任务四:安装Flume客户端

    任务五:配置Flume采集数据

实践过程

任务一:开通MapReduce服务

这个按照老师发布的pdf一步一步操作,最后开通MRS,进入manager界面如下

 

 

 任务二:Python脚本生成测试数据

1.打开xshell,建立连接

 

 

 2.传输autodatapython.py文件到opt/client/文件夹内

 

 

 3.执行

 

 

 任务三:配置Kafka

  • 首先设置环境变量,执行source命令,使变量生效
  • 在kafka中创建topic
  • 查看topic信息:

 

 

 任务四:安装Flume客户端

进入MRS Manager集群管理界面,打开服务管理,点击flume,进入Flume服务,点击下载客户端

 

 

解压flume客户端文件,校验文件包,解压“MRS_Flume_ClientConfig.tar”文件

安装flume环境变量

解压flume客户端

安装flume客户端

 重启flume服务

 

 

任务五:配置Flume采集数据

 修改配置文件,直接从外面传入文件

 

登录master节点,source配置文件,执行如下命令

 

 

 再开一个窗口,执行2.2.1中的python测试指令,原来的窗口就可以捕获数据

 

 

 

 实验心得

这次实验主要介绍了通过Flume来完成实时流数据的采集,初步了解了flume日志采集的相关知识,收益匪浅。

最后附上我的前面作业的代码:数据采集与融合: 数据采集与融合实践作业 - Gitee.com

 

posted @ 2021-11-25 17:14  cowhorse  阅读(12)  评论(0编辑  收藏  举报