数据采集与融合第五次实验

作业①：

我的Gitee
• 作业①: 要求： 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。
  使用Selenium框架爬取京东商城某类商品信息及图片。
  候选网站： http://www.jd.com/
  关键词：学生自由选择
  输出信息：MYSQL的输出信息如下

  mNo	mMark	mPrice	mNote	mFile
  000001	三星Galaxy	9199.00	三星Galaxy Note20 Ultra5G...	000001.jpg

  (1)利用Selenium框架爬取京东商城某类商品网页内容

  实验过程：
  1.定位至网页搜索框，输入关键词"手机"

  

  self.driver.get(url)
          keyInput = self.driver.find_element_by_id("key")
          keyInput.send_keys(key)
          keyInput.send_keys(Keys.ENTER)
  

  2.编写爬虫主体，检查页面：

  

  利用xpath方法实现定位(由于京东网页的特殊，图片链接隐藏在src或者data-lazy-img下)

  lis =self.driver.find_elements_by_xpath("//div[@id='J_goodsList']//li[@class='gl-item']")
              for li in lis:
                  if count>112:
                      break;
              # We find that the image is either in src or in data-lazy-img attribute
                  try:
                      src1 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("src")
                  except:
                      src1 = ""
  
                  try:
                      src2 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("data-lazy-img")
                  except:
                      src2 = ""
                  try:
                      price = li.find_element_by_xpath(".//div[@class='p-price']//i").text
                  except:
                       price = "0"
  
                  try:
                      note = li.find_element_by_xpath(".//div[@class='p-name p-name-type-2']//em").text
                      mark = note.split(" ")[0]
                      mark = mark.replace("爱心东东\n", "")
                      mark = mark.replace(",", "")
                      note = note.replace("爱心东东\n", "")
                      note = note.replace(",", "")
  
                  except:
                      note = ""
                      mark = ""
  
  

  翻页处理：

  # 找到下一页的跳转按钮位置
              if count<112:
  
                  try:
                      self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next disabled']")
                  except:
                      nextPage = self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next']")
                      time.sleep(5)
                      nextPage.click()
                      time.sleep(5)
                      self.processSpider()
  

  设置下载的图片文件名：

   self.No = self.No + 1
                  no = str(self.No)
                  while len(no) < 6:
                      no = "0" + no
                  print(no, mark, price)
                  if src1:
                      src1 = urllib.request.urljoin(self.driver.current_url, src1)
                      p = src1.rfind(".")
                      mFile = no + src1[p:]
                  elif src2:
                      src2 = urllib.request.urljoin(self.driver.current_url, src2)
                      p = src2.rfind(".")
                      mFile = no + src2[p:]
  

  使用多线程，快速下载：

                  if src1 or src2:
                      T = threading.Thread(target=self.download, args=(src1, src2, mFile))
                      T.setDaemon(False)
                      T.start()
                      self.threads.append(T)
                  else:
                      mFile = ""
  

  定义下载函数：

      def download(self, src1, src2, mFile):
          data = None
          if src1:
              try:
                  req = urllib.request.Request(src1, headers=MySpider.headers)
                  resp = urllib.request.urlopen(req, timeout=10)
                  data = resp.read()
              except:
                  pass
          if not data and src2:
              try:
                  req = urllib.request.Request(src2, headers=MySpider.headers)
                  resp = urllib.request.urlopen(req, timeout=10)
                  data = resp.read()
              except:
                  pass
          if data:
              print("download begin", mFile)
              fobj = open(MySpider.imagePath + "\\" + mFile, "wb")
              fobj.write(data)
              fobj.close()
              print("download finish", mFile)
  

  创建图片存放目录：

          imagePath = "download"
  

          try:
              if not os.path.exists(MySpider.imagePath):
                  os.mkdir(MySpider.imagePath)
              images = os.listdir(MySpider.imagePath)
              for img in images:
                  s = os.path.join(MySpider.imagePath, img)
                  os.remove(s)
          except Exception as err:
              print(err)
  

  3.创建mysql数据库

   # 连接mysql数据库
   print("opened")
          try:
              self.con = pymysql.connect(host="127.0.0.1", port=3306, user="root", passwd="chen961122", db="test",
                                         charset="utf8")
              self.cursor = self.con.cursor(pymysql.cursors.DictCursor)
              self.opened = True
              # flag = False
          except Exception as err:
              print(err)
              self.opened = False
  

  插入数据到数据表中：

  # 插入数据
  self.cursor.execute(
                      "insert into phone (Pno,Pmark, Pprice, Pnote, PmFile) values (%s,%s,%s,%s,%s)",
                      (no, mark, price, note, mFile))
  

  运行结果

  

  

  心得体会：

  通过本次实验是对之前实验的复现，主要是加深巩固了利用Selenium模拟爬取京东的商品存入数据库，并下载相关图片。以及selenium元素定位方法的复习与加强，翻页的处理可以说得心应手，爬虫与数据库的结合也得到了巩固。

  作业②：

  
  我的Gitee
  • 作业②
    要求： 熟练掌握 Selenium 查找HTML元素、实现用户模拟登录、爬取Ajax网页数据、等待 HTML元素等内容。
    使用Selenium框架+MySQL爬取中国mooc网课程资源信息（课程号、课程名称、教学 进度、课程状态，课程图片地址），同时存储图片到本地项目根目录下的imgs文件夹 中，图片的名称用课程名来存储。
    候选网站：中国mooc网：

    https://www.icourse163.org
    

    输出信息：MYSQL数据库存储和输出格式
    表头应是英文命名例如：课程号ID，课程名称：cCourse……，由同学们自行定义
    设计表头：

    

    (2)利用selenium进行模拟用户登入，爬取mooc相关信息

    实验过程：
    1.根据实验要求由于模拟用户登入较为复杂，因此先设置浏览器可见，以及最大化方便后续实验的观察

     # chrome_options.add_argument('--headless')
     # chrome_options.add_argument('--disable-gpu')
     driver.maximize_window()
    

    2.编写登入函数login

    在慕课模拟点击登录按钮

    

    然后点击其他登录方式

    

    然后点击手机号登录

    

    代码如下：
    

    接下来的一步是定位到两个文本框的位置，随后用.send_keys方法输入数据

    但是这里刚开始的时候直接定位xpath，发现始终报出元素不存在的问题，后来发现文本框的结点是存储在frame框架结点下的document内容中的：

    

    所以直接利用find_element_by_xpath是定位不到的，需要先定位到frame结点，调用switch_to.frame方法后才能定位到，接着查找两个文本框并利用send_keys输入内容

    代码如下：

    iframe = driver.find_element_by_xpath("/html/body/div[position()=13]/div[position()=2]/div/div/div/div/div/div[position()=1]/div/div[position()=1]/div[position()=2]/div[position()=2]/div/iframe")
    driver.switch_to.frame(iframe)
    input = driver.find_element_by_xpath("/html/body/div[position()=2]/div[position()=2]/div[position()=2]/form/div/div[position()=2]/div[position()=2]/input")
    # input = driver.find_element_by_id("phoneipt")
    # input.click()
    input.send_keys('18750715626')
    input2 = driver.find_element_by_xpath("/html/body/div[position()=2]/div[position()=2]/div[position()=2]/form/div/div[position()=4]/div[position()=2]/input[position()=2]")
    input2.send_keys('Chen961122')
    

    输入后点击登录按钮

    

    另外在实验中由于多次频繁的登录，网站检测后给出了滑动验证码，这里设置一个time.sleep(10)手动拖动。

    进入页面后模拟点击个人中心
    

     button5 = driver.find_element_by_xpath("/html/body/div[position()=4]/div[position()=1]/div/div/div/div/div[position()=7]/div[position()=3]/div/div/a/span")
     button5.click()
    

    然后就成功利用selenium的模拟用户登录进入了我们的课程页面。

    

    • 编写processSpider函数对页面信息进行爬取

    定位含课程信息的结点

    lis =driver.find_elements_by_xpath("//div[@class='course-card-wrapper']")
    

    连接并打开数据库：

    print("opened")
            try:
                self.con = pymysql.connect(host="127.0.0.1", port=3306, user="root", passwd="chen961122", db="test",
                                           charset="utf8")
                self.cursor = self.con.cursor(pymysql.cursors.DictCursor)
                self.opened = True
                # flag = False
            except Exception as err:
                print(err)
                self.opened = False
    

    遍历结点爬取数据，下载图片：

     for li in lis:
                src = li.find_element_by_xpath("./div[@class='box']/a/div[@class='img']/img").get_attribute("src")
                title = li.find_element_by_xpath("./div[@class='box']/a/div[@class='img']/img").get_attribute("alt")
                school = li.find_element_by_xpath("./div[@class='box']/a/div[@class='body']/div[@class='common-info-wrapper common-info-wrapper-fix-height']/div[@class='school']/a").text
                stutime = li.find_element_by_xpath("./div[@class='box']/a/div[@class='body']/div[@class='personal-info']/div[position()=1]/div[position()=1]/div[position()=1]/a/span").text
                ddl = li.find_element_by_xpath("./div[@class='box']/a/div[@class='body']/div[@class='personal-info']/div[@class='course-status']").text
                # 下载
                name = "E:/course/" + str(title) + ".jpg"
                urllib.request.urlretrieve(src, filename=name)
    

    插入数据至数据库：

    self.cursor.execute(
                    "insert into mooc (Mid,Mcourse,Mcollege,Mschedule,McourseStatus,MImgUrl) values (%s,%s,%s,%s,%s,%s)",
                    (count,title,school,stutime,ddl,src))
    

    爬取完一页信息后进行翻页操作：

    利用selenium模拟点击，并递归调用processSpider函数进行翻页：

            if i == 1:
                i+=1
                try:
                    nextPage = driver.find_element_by_xpath("//html/body/div[position()=4]/div[position()=2]/div[position()=3]/div/div[position()=1]/div[position()=3]/div/div[position()=2]/div/div/div[position()=2]/div[position()=1]/div[position()=2]/div/div[position()=2]/ul/li[position()=5]/a")
                    time.sleep(5)
                    nextPage.click()
                    time.sleep(5)
                    self.processSpider()
                except:
                    print()
    

    • 运行结果

    

    心得体会

    本次实验的难点主要在于用selenium模拟用户登录的问题，只需要按部就班，定位按钮的位置，通过click方法进行点击，在实验中输入数据使用send_keys方法，这里第一次遇见了保存于iframe 下的html,在外头直接定位是定位不到的，需要通过 driver.switch_to.frame(iframe)，然后在进行定位,进入后的爬虫，数据库的使用则别无二致，对这些操作进行了巩固与加强，本次实验中没有解决的问题是多次登录，被网页检测出有机器爬虫的嫌疑，所以在登陆的时候有概率会弹出滑动验证码，这里后续会想办法解决。

    作业③：

    • 作业③：
      要求：
      理解Flume架构和关键特性，掌握使用Flume完成日志采集任务。
      完成Flume日志采集实验，包含以下步骤：
      任务一：开通MapReduce服务
      任务二：Python脚本生成测试数据
      任务三：配置Kafka
      任务四：安装Flume客户端
      任务五：配置Flume采集数据
      

      实验过程
      任务一：开通MapReduce服务
      (购买开通MapReduce服务，环境搭建，以便后续实验使用)
      任务二：Python脚本生成测试数据
      
      步骤1：编写Python脚本
      1）使用Xshell 7连接服务器
      2）进入/opt/client/目录，使用vi命令编写Python脚本：vi autodatapython.py
      （这里直接用xftp7将本地的autodatapython.py文件上传至服务器/opt/client/目录下即可，不必再使用vi/vim命令，以免出错，难以修改，后面上传Flume客户端也是一样。）
      步骤2：创建目录
      使用mkdir命令在/tmp下创建目录flume_spooldir，我们把Python脚本模拟生成的数据放到此目录下，后面Flume就监控这个文件下的目录，以读取数据。
      命令：

      mkdir  /tmp/flume_spooldir/
      

      

      步骤3:测试执行
      执行Python命令，测试生成100条数据
      命令：

      python  autodatapython.py  "/tmp/flume_spooldir/test.txt"  100
      more  /tmp/flume_spooldir/test.txt
      

      

      

      任务三：配置Kafka
      步骤1:设置环境变量
      首先设置环境变量，执行source命令，使变量生效
      步骤2:在kafka中创建topic（注意更换为自己Zookeeper的ip，端口号一般不动）
      执行如下命令创建topic，替换实际Zookeeper的IP

      /opt/client/Kafka/kafka/bin/kafka-topics.sh  --create  --zookeeper 172.16.0.74:2181/kafka  --partitions  1  --replication-factor  1  --topic  fludesc
      

      步骤3：查看topic信息

      /opt/client/Kafka/kafka/bin/kafka-topics.sh --list  --zookeeper 172.16.0.74:2181/kafka
      

      

      任务四：安装Flume客户端
      步骤1:打开flume服务界面
      进入MRS Manager集群管理界面，打开服务管理，点击flume，进入Flume服务

      

      步骤2:点击下载客户端

      
      点击确定，等待下载
      下载完成后会有弹出框提示下载到哪一台服务器上（这台机器就是Master节点），路径就是/tmp/MRS-client：

      步骤3:解压下载的flume客户端文件
      使用Xshell7登录到上步中的弹性服务器上，进入/tmp/MRS-client目录
      执行以下命令，解压压缩包获取校验文件与客户端配置包

      tar -xvf MRS_Flume_Client.tar
      

      

      步骤4:校验文件包
      执行命令：

      sha256sum -c MRS_Flume_ClientConfig.tar.sha256
      

      界面显示如下信息，表明文件包校验成功：

      

      步骤5:解压“MRS_Flume_ClientConfig.tar”文件
      执行以下命令：

      tar -xvf MRS_Flume_ClientConfig.tar
      

      步骤6:安装Flume环境变量
      执行以下命令，安装客户端运行环境到新的目录“/opt/Flumeenv”，安装时自动生成目录。

      sh  /tmp/MRS-client/MRS_Flume_ClientConfig/install.sh  /opt/Flumeenv
      

      查看安装输出信息，如有以下结果表示客户端运行环境安装成功：

      Components client installation is complete
      

      

      配置环境变量，执行命令：

      source /opt/Flumeenv/bigdata_env
      

      步骤7:解压Flume客户端
      执行命令：

      cd /tmp/MRS-client/MRS_Flume_ClientConfig/Flume
      tar -xvf FusionInsight-Flume-1.6.0.tar.gz
      

      步骤8:安装Flume客户端
      安装Flume到新目录”/opt/FlumeClient”，安装时自动生成目录。
      执行命令：

      sh /tmp/MRS-client/MRS_Flume_ClientConfig/Flume/install.sh -d /opt/FlumeClient
      

      “-d”：表示Flume客户端安装路径。
      系统显示以下结果表示客户端运行环境安装成功：

      install flume client successfully。
      

      

      步骤9:重启Flume服务
      执行一下命令：

      cd /opt/FlumeClient/fusioninsight-flume-1.6.0
      sh bin/flume-manage.sh restart
      

      任务五：配置Flume采集数据
      步骤1:修改配置文件（注意更换为自己Kafka的ip，端口号一般不动）
      进入Flume安装目录

      cd /opt/FlumeClient/fusioninsight-flume-1.6.0/
      

      在conf目录下编辑文件properties.properties(同样是建议把内容复制到本地文件，修改ip地址后用Xshell上传到服务器，而不是直接vi/vim往里面复制)
      步骤2:创建消费者消费kafka中的数据
      执行命令：

      /opt/client/Kafka/kafka/bin/kafka-console-consumer.sh  --topic fludesc  --bootstrap-server 192.168.0.54:9092  --new-consumer  --consumer.config  /opt/client/Kafka/kafka/config/consumer.properties
      

      注：此处bootstrap-server的ip对应的是Kafka的Broker的IP。
      执行完毕后，在新开一个Xshell 7窗口(右键相应会话-->在右选项卡组中打开)，执行2.2.1步骤三的Python脚本命令，再生成一份数据，查看Kafka中是否有数据产生，可以看到，已经消费出数据了：

      

      心得体会

      理解Flume架构和关键特性，掌握使用Flume完成日志采集任务。学会了在华为云平台上进行资源申请和释放。