数据采集第五次大作业

作业五

作业1

1.1内容

  • 要求
    1. 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。
    2. 使用Selenium框架爬取京东商城某类商品信息及图片。
  • 候选网站: http://www.jd.com
  • 关键词: 手机
  • 输出信息: MYSQL的输出信息如下:

1.2过程&结果

1.2.1发送请求

        chrome_options = Options()
        # 设置启动时浏览器不可见
        chrome_options.add_argument('--headless')
        chrome_options.add_argument('--disable-gpu')
        self.driver = webdriver.Chrome(options=chrome_options)
        self.driver.get(url)

1.2.2单页面解析
首先是模拟浏览器键入关键词搜索,找到搜索框,利用send_keys输入关键词手机并回车:

        keyInput = self.driver.find_element(By.ID, "key")  # 查找输入框
        keyInput.send_keys(key)  # 输入关键词
        keyInput.send_keys(Keys.ENTER)  # 输入回车键代替点击

然后查找商品信息,每个商品对应一个li标签:

在每个li标签下,查找商品信息,商品名称为em标签下文本的第一部分,note为em下的全部文本,这里需要注意的是图片链接可能在img标签的src属性里或data-lazy-img里,要对它进行处理。
还需要注意execute_script("window.scrollTo(0, document.body.scrollHeight);")模拟滑块滑动到页面底端,因为不滑动时每页只能爬取到30项商品信息,滑动后能加载出其余30个商品。

            # 滑动到页面底端,爬取滑动鼠标时才能见到的商品信息
            self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(3)  # 滑动后要等待一段时间以加载信息

            lis = self.driver.find_elements(By.XPATH, "//div[@id='J_goodsList']//li[@class='gl-item']")
            for li in lis:
                # 图片链接在src或data-lazy-img下
                try:
                    src1 = li.find_element(By.XPATH, ".//div[@class='p-img']//a//img").get_attribute("src")
                except:
                    src1 = ""

                try:
                    src2 = li.find_element(By.XPATH, ".//div[@class='p-img']//a//img").get_attribute("data-lazy-img")
                except:
                    src2 = ""

                try:
                    # 价格
                    price = li.find_element(By.XPATH, ".//div[@class='p-price']//i").text
                except:  # 空值处理
                    price = "0"

                try:
                    note = li.find_element(By.XPATH, ".//div[@class='p-name p-name-type-2']//em").text
                    # 品牌名只取note的一部分,以空格分割,取第一段
                    mark = note.split(" ")[0]
                    mark = mark.replace("爱心东东\n", "")  # 数据清洗
                    mark = mark.replace(",", "")
                    note = note.replace("爱心东东\n", "")  # 数据清洗
                    note = note.replace(",", "")

                except:  # 空值处理
                    note = ""
                    mark = ""

1.2.3翻页操作

找到翻页按钮,nextPage.click()实现翻页,要注意翻页后需要等待一段时间,以等待页面响应。

            if self.page <= 2:  # 在此只爬取3页
                self.page += 1
                # 翻页处理
                time.sleep(5)
                # 寻找翻页按钮,并点击
                nextPage = self.driver.find_element(By.XPATH, "//span[@class='p-num']//a[@class='pn-next']")
                nextPage.click()
                self.processSpider()

1.2.4信息存储
图片信息下载并保存指定文件夹,这里利用了多线程下载,加快速度;其他信息保存在mysql数据库。

                if src1:
                    src1 = urllib.request.urljoin(self.driver.current_url, src1)
                    p = src1.rfind(".")
                    mFile = no + src1[p:]  # 根据计数和图片链接末端的.jpg/.png等给图片命名
                elif src2:
                    src2 = urllib.request.urljoin(self.driver.current_url, src2)
                    p = src2.rfind(".")
                    mFile = no + src2[p:]
                if src1 or src2:  # 有图片链接则下载
                    T = threading.Thread(target=self.download, args=(src1, src2, mFile))
                    T.setDaemon(False)
                    T.start()
                    self.threads.append(T)
                else:  # 没有图片链接则记图片名为空白,不下载
                    mFile = ""
                self.insertDB(no, mark, price, note, mFile)
    def download(self, src1, src2, mFile):  # 下载图片
        data = None
        if src1:
            try:
                req = urllib.request.Request(src1, headers=MySpider.headers)
                resp = urllib.request.urlopen(req, timeout=10)
                data = resp.read()
            except:
                pass
        if not data and src2:
            try:
                req = urllib.request.Request(src2, headers=MySpider.headers)
                resp = urllib.request.urlopen(req, timeout=10)
                data = resp.read()
            except:
                pass
        if data:  # 如果爬取到图片信息则下载
            print("download begin", mFile)
            fobj = open(MySpider.imagePath + "\\" + mFile, "wb")
            fobj.write(data)
            fobj.close()
            print("download finish", mFile)
    def insertDB(self, mNo, mMark, mPrice, mNote, mFile):  # 插入数据
        try:
            sql = "insert into phones (mNo,mMark,mPrice,mNote,mFile) values (%s,%s,%s,%s,%s)"
            self.cursor.execute(sql, (mNo, mMark, mPrice, mNote, mFile))
        except Exception as err:
            print(err)

1.2.5结果展示

1.3心得

  • 巩固了selenium框架爬取网站信息,selenium要注意等待网站响应,否则可能爬取不到信息,还需要注意滚动页面以加载完整信息等。
  • 学习了使用send_keys(Keys.ENTER)来键入回车键,代替点击操作,send_keys还有“删除多输入的一个字符send_keys(Keys.BACK_SPACE)”、“输入空格键send_keys(Keys.SPACE)”等用法。

1.4代码链接

https://gitee.com/cxqi/crawl_project/tree/master/实验5/作业1

作业2

2.1内容

  • 要求
    1. 熟练掌握 Selenium 查找HTML元素、实现用户模拟登录、爬取Ajax网页数据、等待HTML元素等内容。
    2. 使用Selenium框架+MySQL爬取中国mooc网课程资源信息(课程号、课程名称、教学进度、课程状态,课程图片地址),同时存储图片到本地项目根目录下的imgs文件夹中,图片的名称用课程名来存储。
  • 候选网站: 中国mooc网:https://www.icourse163.org
  • 输出信息: MYSQL数据库存储和输出格式,表头应是英文命名例如:课程号ID,课程名称:cCourse……,由同学们自行定义设计表头:

2.2过程&结果

2.2.1发送请求:与作业1相似
2.2.2模拟用户登录
查找登录按钮、其他方式登录、手机号登录,输入手机号、密码,选择登录,完成用户登录。

            # 等待登录按钮可以点击时点击它
            self.wait.until(EC.element_to_be_clickable(
                self.driver.find_element(By.XPATH, "//div[@class='_2yDxF _3luH4']//div[@class='_3uWA6']"))).click()
            # 进一步点击其他登录方式
            self.wait.until(EC.element_to_be_clickable(
                self.driver.find_element(By.XPATH, "//div[@class='mooc-login-set']/div/div[2]/span"))).click()
            # 点击手机号登录
            self.wait.until(EC.element_to_be_clickable(
                self.driver.find_element(By.XPATH,"//div[@class='mooc-login-set']//ul[@class='ux-tabs-underline_hd']/li[2]"))).click()
            time.sleep(0.5)

要注意登录框在iframe标签下,需要切换到iframe下才能找到输入手机号和密码的输入框,并键入手机号和密码实现用户登录。

            # 切换到iframe登录框
            f = self.driver.find_elements(By.TAG_NAME, "iframe")[1]
            self.driver.switch_to.frame(f)
            # 键入手机号、密码,然后选择登录
            self.driver.find_element(By.XPATH, "//input[@type='tel']").send_keys(self.phoneNum)
            self.driver.find_elements(By.XPATH, "//input[@type='password']")[1].send_keys(self.passwd)
            self.driver.find_element(By.XPATH, "//a[@id='submitBtn']").click()
            time.sleep(2)

2.2.3单页面解析
用户登陆后,进入个人中心,发现有MOOC和SPOC板块下都有课程,对于每个板块都是一样的处理方法:每个div标签对应一门课程,进一步对每个课程进行信息爬取。

    # 处理爬取的数据
    def processSpider(self):
        try:
            # 进入个人中心
            self.driver.find_element(By.XPATH, "//div[@class='web-nav-right-part']/div[3]//a/span").click()
            # 进入时默认为MOOC课程,即可进行此页课程爬取
            self.process_onepage()
            # 点击SPOC课程
            self.driver.find_element(By.XPATH, "//div[@class='u-selectTab-container']/div[2]/a/span").click()
            # 爬取SPOC课程信息
            self.process_onepage()

        except Exception as err:
            print(err)

    def process_onepage(self):  # 爬取一个页面
        time.sleep(2)
        # 课程列表
        courses = self.driver.find_elements(By.XPATH, "//div[@class='course-card-wrapper']")
        for course in courses:
            # 课程名
            name = course.find_element(By.XPATH, ".//div[@class='body']//div[@class='text']/span[2]").text
            # 开课学校
            college = course.find_element(By.XPATH, ".//div[@class='body']//div[@class='school']/a").text
            # 课程进度
            schedule = course.find_element(By.XPATH, ".//div[@class='body']//div[2]//div[@class='text']/a/span").text
            # 课程状态
            courseStatus = course.find_element(By.XPATH,
                                               ".//div[@class='body']//div[@class='personal-info']/div[2]").text
            # 课程封面图片链接
            imgUrl = course.find_element(By.XPATH, ".//div[@class='img']/img").get_attribute('src')
            # 插入数据库
            print(self.count, name, college, schedule, courseStatus, imgUrl)
            # 插入数据库
            self.insertDB(self.count, name, college, schedule, courseStatus, imgUrl)
            # 多线程完成图片下载
            T = threading.Thread(target=self.download, args=(imgUrl, name))
            T.setDaemon(False)
            T.start()
            self.threads.append(T)
            self.count += 1  # 爬取数量增加1

2.3.4信息存储:与作业1相似
2.3.5结果展示

2.3心得

  • selenium框架爬取时要特别注意对页面的处理,比如这题要切换到iframe,否则就无法找到输入框进行后续登录操作;还需注意等待页面响应,否则也无法获得信息。

2.4代码链接

https://gitee.com/cxqi/crawl_project/tree/master/实验5/作业2

作业3

3.1要求:

  1. 理解Flume架构和关键特性,掌握使用Flume完成日志采集任务。
  2. 完成Flume日志采集实验。

3.2结果:

  • 任务一:开通MapReduce服务
    按照ppt步骤开通MapReduce服务:

  • 任务二:Python脚本生成测试数据
    用xftp7将本地的autodatapython.py文件上传至服务器/opt/client/目录下;执行Python命令,测试生成100条数据。

    查看数据:

  • 任务三:配置Kafka
    首先设置环境变量,执行source命令,使变量生效;在kafka中创建topic;查看topic信息。

  • 任务四:安装Flume客户端
    使用Xshell7登录到上步中的弹性服务器上,进入/tmp/MRS-client目录;执行以下命令,解压压缩包获取校验文件与客户端配置包;校验文件包,显示OK则校验成功。

    解压“MRS_Flume_ClientConfig.tar”文件。

    安装客户端运行环境到新的目录“/opt/Flumeenv”,安装时自动生成目录。查看安装输出信息,如有以下结果表示客户端运行环境安装成功:

    安装Flume到新目录”/opt/FlumeClient”,安装时自动生成目录(sh /tmp/MRS-client/MRS_Flume_ClientConfig/Flume/install.sh -d /opt/FlumeClient);重启Flume服务。

  • 任务五:配置Flume采集数据
    新开一个Xshell 7窗口,执行Python脚本命令,再生成一份数据。

    查看Kafka中是否有数据产生,可以看到,已经消费出数据,表明Flume到Kafka目前是打通的。

  • 031904132 陈晓淇

posted @ 2021-11-27 00:09  削木梨  阅读(15)  评论(0编辑  收藏  举报