第五次作业数据采集
作业1
要求：
熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。
使用Selenium框架爬取京东商城某类商品信息及图片。
候选网站：http://www.jd.com/
关键词：学生自由选择
输出信息：MYSQL的输出信息如下
| mNo | mMark | mPrice | mNote | mFile |
| 000001 | 三星Galaxy | 9199.00 | 三星Galaxy Note20 Ultra 5G... | 000001.jpg |
结果展示
使用selenium框架创建浏览器并配置参数：
chrome_options = Options()
chrome_options.add_argument('--headless')#设置浏览器不可见
chrome_options.add_argument('--disable-gpu')#禁止调用gpu
self.driver = webdriver.Chrome(options=chrome_options)#启动浏览器
self.wait = WebDriverWait(self.driver, 10)#设置等待时间10秒
self.driver.get(url)# 获取url链接
使用xpath元素定位并爬取信息
def processSpider(self):
time.sleep(1)
print(self.driver.current_url)#打印当前爬取页面的url
try:
lis = self.driver.find_elements_by_xpath("//div[@id='J_goodsList']//li[@class='gl-item']")
for li in lis:
self.count += 1#商品数量
try:#查找图片
src1 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("src")
except:
src1 = ""
try:
src2 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("data-lazy-img")
except:
src2 = ""
try:#价格
price = li.find_element_by_xpath(".//div[@class='p-price']//i").text
except:
price = "0"
try:#简介
note = li.find_element_by_xpath(".//div[@class='p-name p-name-type-2']//em").text
mark = note.split(" ")[0]
mark = mark.replace("爱心东东\n", "")
mark = mark.replace(",", "")
note = note.replace("爱心东东\n", "")
note = note.replace(",", "")
except:
note = ""
mark = ""
self.No = self.No + 1
no = str(self.No)
while len(no) < 6:
no = "0" + no
print(no, mark, price)#先展示序号，名称，价格
if src1:
src1 = urllib.request.urljoin(self.driver.current_url, src1)
p = src1.rfind(".")
mFile = no + src1[p:]
elif src2:
src2 = urllib.request.urljoin(self.driver.current_url, src2)
p = src2.rfind(".")
mFile = no + src2[p:]
if src1 or src2:
T = threading.Thread(target=self.download, args=(src1, src2, mFile))
T.setDaemon(False)
T.start()
self.threads.append(T)
else:
mFile = ""
使用urllib.request下载图片：
def download(self, src1, src2, mFile):#下载图片
data = None
if src1:
try:
req = urllib.request.Request(src1, headers=MySpider.headers)
resp = urllib.request.urlopen(req, timeout=10)
data = resp.read()
except:
pass
if not data and src2:
try:
req = urllib.request.Request(src2, headers=MySpider.headers)
resp = urllib.request.urlopen(req, timeout=10)
data = resp.read()
except:
pass
if data:
print("download begin", mFile)
fobj = open(MySpider.imagePath + "\\" + mFile, "wb")
fobj.write(data)
fobj.close()
print("download finish", mFile)
翻页处理：找到翻页按钮并点击：
try:#翻页处理
self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next disabled']")
except:
nextPage = self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next']")
time.sleep(10)
nextPage.click()
self.processSpider()
与数据库连接部分
try:
self.con = pymysql.connect(host="localhost", port=3306, user="root",passwd = "******", db = "scrapy", charset = "utf8")
self.cursor = self.con.cursor(pymysql.cursors.DictCursor)
sql= '''
create table if not exists phones(
mNo varchar(32), mMark varchar(256) ,mPrice varchar(32),
mNote text(200), mFile varchar(256)
)
'''
self.cursor.execute(sql)
self.cursor.execute("delete from phones")
self.opened = True
except Exception as err:
print(err)
if self.opened:# 将结果存入数据库
sql ='''insert into phones (mNo,mMark,mPrice,mNote,mFile) values (%s,%s,%s,%s,%s)'''
arg =(no,mark,price,note,mFile)
self.cursor.execute(sql,arg)#将数据插入数据库
作业2
要求：
熟练掌握 Selenium 查找HTML元素、实现用户模拟登录、爬取Ajax网页数据、等待HTML元素等内容。
使用Selenium框架+MySQL模拟登录慕课网，并获取学生自己账户中已学课程的信息保存到MySQL中（课程号、课程名称、授课单位、教学进度、课程状态，课程图片地址），同时存储图片到本地项目根目录下的imgs文件夹中，图片的名称用课程名来存储。
候选网站：中国mooc网：https://www.icourse163.org
输出信息：MYSQL数据库存储和输出格式
表头应是英文命名例如：课程号ID，课程名称：cCourse……，由同学们自行定义设计表头：
| cid | cCourse | cCollege | cSchedule | cCourseStatus | cImgUrl |
| Python网络爬虫与信息提取 | 北京理工大学 | 已学3/18课时 | 2021年5月18日已结束 | 日已结束 http://edu-image.nosdn.127.net/C0AB6FA791150F0DFC0946B9A01C8CB2.jpg | |
代码
同样是先创建浏览器并配置好参数：
# Initializing Chrome browser
chrome_options = Options()
#chrome_options.add_argument('--headless')#设置浏览器不可见
chrome_options.add_argument('--disable-gpu')#禁止调用gpu
self.driver = webdriver.Chrome(options=chrome_options)#启动浏览器
self.wait = WebDriverWait(self.driver, 30)#设置等待时间30秒
self.driver.get(url)#获取url链接
再爬取此网站时，需要使用selenium进行模拟登录，此部分较为麻烦，也遇见了不少坑。
首先是xpath的编写，这里直接使用元素路径复制的话，发现每次的路径某些元素的id属性都会发生变化，所以在写xpath路径时，不能无脑复制，需要自己编写，绕开id这个属性。
其次是标签的切换，在模拟浏览器点击：其他登录方式后，出现无论怎么写xpath，都无法定位手机号输入框的情况，后得知，需要切使用lelenium换frame，再去重新定位元素。
以下是登录操作的代码：
#找到登录按钮
time.sleep(2)
login = self.driver.find_element_by_xpath("//*[@id='app']/div/div/div[1]/div[3]/div[3]/div")
login.click()
# 点击选择其他登录方式
time.sleep(2)
otherlogin = self.driver.find_element_by_xpath('//*[@class="mooc-login-set-wrapper"]/div/div/div[2]/span')
otherlogin.click()
# 点击选择手机账号登录
phonelogin = self.driver.find_element_by_xpath('//div[@class="ux-tabs-underline"]')
phonelogin.click()
# 切换到frame，重新去定位元素，不然定位不到
iframe = self.driver.find_element_by_xpath('//body/div[13]/div[2]/div/div/div/div/div/div[1]/div/div[1]/div[2]/div[2]/div/iframe')
self.driver.switch_to.frame(iframe)
#输入账号
name_input = self.driver.find_element_by_xpath('//div[@class="u-input box"]//input[@type="tel"]')
username = "*******"
name_input.clear()
name_input.send_keys(username) # 填写账号
time.sleep(5) # 休眠一下，模拟人工登录，不然可能被拦截
#输入密码
pass_input = self.driver.find_element_by_xpath("//body/div[2]/div[2]/div[2]/form/div/div[4]/div[2]/input[2]")
password = "*****"
pass_input.clear()
pass_input.send_keys(password) #填写密码
time.sleep(5)
#点击登录按钮
login_button = self.driver.find_element_by_xpath("//*[@id='submitBtn']")
login_button.click()
time.sleep(5)
#这里会有一个同意的弹窗，需要点击同意
agree = self.driver.find_element_by_xpath('//*[@id="privacy-ok"]')
agree.click()
time.sleep(2)
#进入我的课程，就可以开始爬取了
mycourse = self.driver.find_element_by_xpath('//*[@id="app"]/div/div/div[1]/div[3]/div[4]/div')
mycourse.click()
接下来就是常规的网页信息爬取部分了：
try:
divs = self.driver.find_elements_by_xpath('//*[@id="j-coursewrap"]/div/div[1]/div')
for div in divs:
self.no += 1
id = self.no
course = div.find_element_by_xpath('.//div[1]/a/div[2]/div[1]/div[1]/div/span[2]').text
college = div.find_element_by_xpath('div[1]/a/div[2]/div[1]/div[2]/a').text
schedule = div.find_element_by_xpath('div[1]/a/div[2]/div[2]/div[1]/div[1]/div[1]/a/span').text
coursestatus = div.find_element_by_xpath('div[1]/a/div[2]/div[2]/div[2]').text
imageurl = div.find_element_by_xpath('div[1]/a/div[1]/img').get_attribute("src")
保存图片：
def download(self,src,mFile):
req = urllib.request.Request(src, headers=MySpider.headers)
resp = urllib.request.urlopen(req, timeout=10)
data = resp.read()
fobj = open(MySpider.imagePath + "\\" + mFile, "wb")
fobj.write(data)
fobj.close()
数据库
try:
self.con = pymysql.connect(host="localhost", port=3306, user="root", passwd="*****", db="scrapy",
charset="utf8")
self.cursor = self.con.cursor(pymysql.cursors.DictCursor)
sql = '''
create table if not exists mooc(
Id varchar(10), cCourse varchar(64) ,cCollege varchar(64),
cSchedule varchar(128), cCourseStatus varchar(128),
clmgUrl varchar(255)
)
'''
self.cursor.execute(sql)
self.cursor.execute("delete from mooc")
self.opened = True
except Exception as err:
print(err)
if self.opened:# 将结果存入数据库
sql ='''insert into mooc (Id,cCourse,cCollege,cSchedule,cCourseStatus,clmgUrl) values (%s,%s,%s,%s,%s,%s)'''
arg =(id ,course,college, schedule,coursestatus,imageurl)
self.cursor.execute(sql,arg)#将数据插入数据库
作业3
要求：掌握大数据相关服务，熟悉Xshell的使用
完成文档 华为云_大数据实时分析处理实验手册-Flume日志采集实验（部分）v2.docx 中的任务，即为下面5个任务，具体操作见文档。
环境搭建
任务一：开通MapReduce服务
实时分析开发实战：
任务一：Python脚本生成测试数据
任务二：配置Kafka
任务三：安装Flume客户端
任务四：配置Flume采集数据
浙公网安备 33010602011771号