数据采集与融合技术 实验5

作业①:

  • 要求:

    熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。

    使用Selenium框架爬取京东商城某类商品信息及图片。

  • 候选网站:http://www.jd.com/

  • 关键词:学生可自由选择

  • 输出信息:MySQL的输出信息如下

mNo mMark mPrice mNote mFile
000001 三星Galaxy 9199.00 三星Galaxy Note20 Ultra 5G... 000001.jpg
000002......

1)、京东网手机数据爬取

1.定位网页搜索框,输入关键词"手机"

self.driver.get(url)
        keyInput = self.driver.find_element_by_id("key")
        keyInput.send_keys(key)
        keyInput.send_keys(Keys.ENTER)

2.编写爬虫主体,检查页面:

利用xpath方法实现定位(由于京东网页的特殊,图片链接隐藏在src或者data-lazy-img下)

            lis =self.driver.find_elements_by_xpath("//div[@id='J_goodsList']//li[@class='gl-item']")
            for li in lis:
                if count > 413:
                    break;
            # We find that the image is either in src or in data-lazy-img attribute
                try:
                    src1 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("src")
                except:
                    src1 = ""

                try:
                    src2 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("data-lazy-img")
                except:
                    src2 = ""
                try:
                    price = li.find_element_by_xpath(".//div[@class='p-price']//i").text
                except:
                     price = "0"

                try:
                    note = li.find_element_by_xpath(".//div[@class='p-name p-name-type-2']//em").text
                    mark = note.split(" ")[0]
                    mark = mark.replace("爱心东东\n", "")
                    mark = mark.replace(",", "")
                    note = note.replace("爱心东东\n", "")
                    note = note.replace(",", "")

                except:
                    note = ""
                    mark = ""

翻页处理:

# 找到下一页的跳转按钮位置
           if count < 413:
                try:
                    self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next disabled']")
                except:
                    nextPage = self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next']")
                    time.sleep(5)
                    nextPage.click()
                    time.sleep(5)
                    self.processSpider()

设置下载的图片文件名:

self.No = self.No + 1
no = str(self.No)
while len(no) < 6:
    no = "0" + no
print(no, mark, price)
if src1:
    src1 = urllib.request.urljoin(self.driver.current_url, src1)
    p = src1.rfind(".")
    mFile = no + src1[p:]
elif src2:
    src2 = urllib.request.urljoin(self.driver.current_url, src2)
    p = src2.rfind(".")
    mFile = no + src2[p:]

使用多线程,快速下载:

                if src1 or src2:
                    T = threading.Thread(target=self.download, args=(src1, src2, mFile))
                    T.setDaemon(False)
                    T.start()
                    self.threads.append(T)
                else:
                    mFile = ""

定义下载函数:

    def download(self, src1, src2, mFile):
        data = None
        if src1:
            try:
                req = urllib.request.Request(src1, headers=MySpider.headers)
                resp = urllib.request.urlopen(req, timeout=10)
                data = resp.read()
            except:
                pass
        if not data and src2:
            try:
                req = urllib.request.Request(src2, headers=MySpider.headers)
                resp = urllib.request.urlopen(req, timeout=10)
                data = resp.read()
            except:
                pass
        if data:
            print("download begin", mFile)
            fobj = open(MySpider.imagePath + "\\" + mFile, "wb")
            fobj.write(data)
            fobj.close()
            print("download finish", mFile)

创建图片存放目录:

        imagePath = "download"
        try:
            if not os.path.exists(MySpider.imagePath):
                os.mkdir(MySpider.imagePath)
            images = os.listdir(MySpider.imagePath)
            for img in images:
                s = os.path.join(MySpider.imagePath, img)
                os.remove(s)
        except Exception as err:
            print(err)

3.创建mysql数据库

 # 连接mysql数据库
        print("opened")
        try:
            self.con = pymysql.connect(host="127.0.0.1", port=3306, user="root",
                                       password="hts2953936", database="mydb", charset="utf8")
            self.cursor = self.con.cursor(pymysql.cursors.DictCursor)
            self.opened = True
            # flag = False
        except Exception as err:
            print(err)
            self.opened = False

插入数据到数据表中:

# 插入数据
self.cursor.execute("insert into phone (Pno,Pmark, Pprice, Pnote, PmFile) values (%s,%s,%s,%s,%s)",(no, mark, price, note, mFile))
  • 结果查看
    控制台输出:

数据库中查看结果:

图片:

作业1码云链接

2)、心得体会

本次实验是对之前实验的复现,巩固了Selenium模拟爬取京东的数据,以及下载图片。复习了selenium爬取方法和翻页,巩固了对数据库的操作

作业②:

要求:

熟练掌握 Selenium 查找HTML元素、实现用户模拟登录、爬取Ajax网页数据、等待HTML元素等内容。

使用Selenium框架+MySQL模拟登录慕课网,并获取学生自己账户中已学课程的信息保存到MySQL中(课程号、课程名称、授课单位、教学进度、课程状态,课程图片地址),同时存储图片到本地项目根目录下的imgs文件夹中,图片的名称用课程名来存储。

1)、selenium爬取mooc数据

  • 编写函数start

初始化driver

chrome_options = Options()
# 设置启动chrome时不可见
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
# 创建options
self.driver = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.icourse163.org/'
self.driver.get(url)

将窗口最大化(方便寻找结点)并设置反监听,防止网页检测到selenium

self.driver.maximize_window()
self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  """
})

在慕课初始页面中模拟点击登录按钮

随后模拟点击其他登录方式

接下来点击手机号登录

代码如下

loginbutton = self.driver.find_element_by_xpath('//div[@class="_1Y4Ni"]/div')
time.sleep(3)
loginbutton.click()
time.sleep(3)
button2 = self.driver.find_element_by_xpath('//span[@class="ux-login-set-scan-code_ft_back"]')
button2.click()
time.sleep(3)
button3 = self.driver.find_element_by_xpath('//ul[@class="ux-tabs-underline_hd"]/li[position()=2]')
button3.click()
time.sleep(3)

在进行到这一步时,接下来的一步是定位到两个文本框的位置,随后用sendkeys方法输入数据

但是在这一步是需要注意到,文本框的结点是存储在frame框架结点下的document内容中的:

所以文本框直接利用find_element_by_xpath是定位不到的,需要先定位到frame结点,调用switch_to.frame方法后才能爬取到

代码如下:

frame = self.driver.find_element_by_xpath('/html/body/div[position()=13]/div[position()=2]/div/div/div/div/div/div[position()=1]/div/div[position()=1]/div[position()=2]/div[position()=2]/div/iframe')
self.driver.switch_to.frame(frame)

查找两个文本框并利用sendkeys输入内容

account = self.driver.find_element_by_xpath('/html/body/div[position()=2]/div[position()=2]/div[position()=2]/form/div/div[position()=2]/div[position()=2]/input')
account.send_keys('18016776126')
password = self.driver.find_element_by_xpath('/html/body/div[2]/div[2]/div[2]/form/div/div[4]/div[2]/input[2]')
password.send_keys("hts2953936")

输入后点击登录按钮

loginbutton2 = self.driver.find_element_by_xpath('/html/body/div[2]/div[2]/div[2]/form/div/div[6]/a').click()
time.sleep(10)

这里设置一个time.sleep(10)是因为有时候会出现需要手动拖动拼图验证码,这部分实现起来比较费时,以后有时间可以花时间研究下。

进入页面后模拟点击我的课程

mycourses = self.driver.find_element_by_xpath('/html/body/div[position()=4]/div[position()=2]/div[position()=1]/div/div/div[position()=1]/div[position()=3]/div[position()=4]/div').click()
time.sleep(3)

这样之后就成功利用selenium的模拟登录进入了我们的课程页面了,可以开始下一步爬取

  • 编写processSpider函数对页面信息进行爬取

定位含课程信息的结点

body = self.driver.find_elements_by_xpath('//div[@class="course-card-wrapper"]')

遍历结点爬取数据,下载图片,插入数据库:

for i in body:
    count += 1
    cid = count
    img = i.find_element_by_xpath('.//div[@class="img"]/img').get_attribute('src')
    schedule = i.find_element_by_xpath('.//span[@class="course-progress-text-span"]').text
    college = i.find_element_by_xpath('.//div[@class="school"]').text
    title = i.find_element_by_xpath('.//div[@class="title"]/div/span[position()=2]').text
    coursestatus = i.find_element_by_xpath('.//div[@class="course-status"]').text
    downloadurl = img
    file = "C:/Users/86180/Desktop/Data Collection/imgs/" + "course no." + str(count) + " pic no."+".jpg"
    urllib.request.urlretrieve(downloadurl, filename=file)
    print("course no." + str(count) + " download completed")
    print("insert into mooc (cid,cCourse,cCollege,cShedule,cCourseStatus,cImgUrl) values (%s,%s,%s,%s,%s,%s)",(cid,title,college,schedule,coursestatus,img))
    # 执行插入数据库操作
    if self.opened:
        self.cursor.execute("insert into mooc (cid,cCourse,cCollege,cShedule,cCourseStatus,cImgUrl) values (%s,%s,%s,%s,%s,%s)",
        (cid,title,college,schedule,coursestatus,img))
    print("-------------------------------")

爬取完一页信息后进行翻页操作:

在页面中ul[@class="ux-pager"]结点下包含页面信息,该结点下的li结点中在倒数第二位的是所学课程的最后一页的页号(即下一页的前一个兄弟结点)

所以获取该结点下的页号信息:

page = self.driver.find_element_by_xpath('//ul[@class="ux-pager"]/li[position()=last()-1]/a').text

利用selenium模拟点击,并递归调用processSpider函数进行翻页:

if not flag == int(page):
    flag +=1
    nxpgbutton = self.driver.find_element_by_xpath('//li[@class="ux-pager_btn ux-pager_btn__next"]/a')
    nxpgbutton.click()
    time.sleep(5)
    self.processSpider()
  • 最后查看结果:

数据库中:

图片:

作业2码云链接

心得体会:

本次实验考察用selenium模拟登录,步骤上就是逐步定位按钮的位置,通过click方法进行点击按钮,在模拟登录时对文本框输入数据则使用send_keys方法,mooc网站的文本框较为特殊,保存于iframe 的#document中,无法直接定位,需要通过调用 driver.switch_to.frame()转入该结点下的新的html中,然后再进行定位。进入后的爬取等操作就比较熟悉了。在进行模拟登录的过程中出现的问题:短时间内多次登录后,在登陆的时候有时会弹出拼图验证码。

作业③:

  • 作业③:
    要求:
    理解Flume架构和关键特性,掌握使用Flume完成日志采集任务。
    完成Flume日志采集实验,包含以下步骤:
    任务一:开通MapReduce服务
    任务二:Python脚本生成测试数据
    任务三:配置Kafka
    任务四:安装Flume客户端
    任务五:配置Flume采集数据

    实验过程
    任务一:开通MapReduce服务
    (购买开通MapReduce服务,环境搭建,以便后续实验使用)
    任务二:Python脚本生成测试数据

    步骤1:编写Python脚本
    1)使用Xshell 7连接服务器
    2)进入/opt/client/目录,使用vi命令编写Python脚本:vi autodatapython.py
    (这里直接用xftp7将本地的autodatapython.py文件上传至服务器/opt/client/目录下即可,不必再使用vi/vim命令,以免出错,难以修改,后面上传Flume客户端也是一样。)

    步骤2:创建目录
    使用mkdir命令在/tmp下创建目录flume_spooldir,我们把Python脚本模拟生成的数据放到此目录下,后面Flume就监控这个文件下的目录,以读取数据。
    命令:

    mkdir  /tmp/flume_spooldir/
    

    步骤3:测试执行
    执行Python命令,测试生成100条数据
    命令:

    python  autodatapython.py  "/tmp/flume_spooldir/test.txt"  100
    more  /tmp/flume_spooldir/test.txt
    

    任务三:配置Kafka
    步骤1:设置环境变量
    首先设置环境变量,执行source命令,使变量生效
    步骤2:在kafka中创建topic(注意更换为自己Zookeeper的ip,端口号一般不动)
    执行如下命令创建topic,替换实际Zookeeper的IP

    /opt/client/Kafka/kafka/bin/kafka-topics.sh  --create  --zookeeper 172.16.0.74:2181/kafka  --partitions  1  --replication-factor  1  --topic  fludesc
    

    步骤3:查看topic信息

    /opt/client/Kafka/kafka/bin/kafka-topics.sh --list  --zookeeper 172.16.0.74:2181/kafka
    

    任务四:安装Flume客户端
    步骤1:打开flume服务界面
    进入MRS Manager集群管理界面,打开服务管理,点击flume,进入Flume服务

    步骤2:点击下载客户端


    点击确定,等待下载
    下载完成后会有弹出框提示下载到哪一台服务器上(这台机器就是Master节点),路径就是/tmp/MRS-client:

    步骤3:解压下载的flume客户端文件
    使用Xshell7登录到上步中的弹性服务器上,进入/tmp/MRS-client目录
    执行以下命令,解压压缩包获取校验文件与客户端配置包

    tar -xvf MRS_Flume_Client.tar
    

    步骤4:校验文件包
    执行命令:

    sha256sum -c MRS_Flume_ClientConfig.tar.sha256
    

    界面显示如下信息,表明文件包校验成功:

    步骤5:解压“MRS_Flume_ClientConfig.tar”文件
    执行以下命令:

    tar -xvf MRS_Flume_ClientConfig.tar
    

    步骤6:安装Flume环境变量
    执行以下命令,安装客户端运行环境到新的目录“/opt/Flumeenv”,安装时自动生成目录。

    sh  /tmp/MRS-client/MRS_Flume_ClientConfig/install.sh  /opt/Flumeenv
    

    查看安装输出信息,如有以下结果表示客户端运行环境安装成功:

    Components client installation is complete
    

    配置环境变量,执行命令:

    source /opt/Flumeenv/bigdata_env
    

    步骤7:解压Flume客户端
    执行命令:

    cd /tmp/MRS-client/MRS_Flume_ClientConfig/Flume
    tar -xvf FusionInsight-Flume-1.6.0.tar.gz
    

    步骤8:安装Flume客户端
    安装Flume到新目录”/opt/FlumeClient”,安装时自动生成目录。
    执行命令:

    sh /tmp/MRS-client/MRS_Flume_ClientConfig/Flume/install.sh -d /opt/FlumeClient
    

    “-d”:表示Flume客户端安装路径。
    系统显示以下结果表示客户端运行环境安装成功:

    install flume client successfully。
    

    步骤9:重启Flume服务
    执行一下命令:

    cd /opt/FlumeClient/fusioninsight-flume-1.6.0
    sh bin/flume-manage.sh restart
    

    任务五:配置Flume采集数据
    步骤1:修改配置文件(注意更换为自己Kafka的ip,端口号一般不动)
    进入Flume安装目录

    cd /opt/FlumeClient/fusioninsight-flume-1.6.0/
    

    在conf目录下编辑文件properties.properties(同样是建议把内容复制到本地文件,修改ip地址后用Xshell上传到服务器,而不是直接vi/vim往里面复制)
    步骤2:创建消费者消费kafka中的数据
    执行命令:

    /opt/client/Kafka/kafka/bin/kafka-console-consumer.sh  --topic fludesc  --bootstrap-server 192.168.0.54:9092  --new-consumer  --consumer.config  /opt/client/Kafka/kafka/config/consumer.properties
    

    注:此处bootstrap-server的ip对应的是Kafka的Broker的IP。
    执行完毕后,在新开一个Xshell 7窗口(右键相应会话-->在右选项卡组中打开),执行2.2.1步骤三的Python脚本命令,再生成一份数据,查看Kafka中是否有数据产生,可以看到,已经消费出数据了:

    心得体会

    理解Flume架构和关键特性,掌握了使用Flume完成日志采集任务。学习了在华为云平台上进行资源申请和释放。

posted @ 2021-12-07 18:19  paulncle  阅读(8)  评论(0编辑  收藏  举报