Python爬虫实例——菜单推荐

Python爬虫——获取菜单推荐

1.准备工作

一台已经装有python的desktop；

安装本次爬取所需要的库文件bs4、requests、random库。

2.考虑爬虫代码框架

（1）需要爬取菜单页面方法；

（2）需要打印获取内容方法；

（3）需要输入关键字的方法；

（4）需要爬取制作流程的方法。

3.爬取菜单页面

def getmenu(url):
  try:
     r = requests.get(url)  //request方法获取整个食品网站的页面信息
     r.raise_for_status()   //异常状态反馈
     r.encoding='utf-8'     //转换菜单页面编码方式
     m=r.text
     menu=[]  

     html = BeautifulSoup(m,'html.parser')  //BeautifulSoup库对于解析页面方面特别方便，这次实验也采用改库解析页面信息
     for i in html.find_all('div',attrs={'class':'pic'}):  //find_all 方法根据标签找到菜单存储的标签
        menu.append(i.img.attrs['alt'])  //获取菜名
     for i in html.find_all('div',attrs={'class':'pic'}):
        makeurl=i.a.attrs['href']  //获取制作方法所在的页面链接
     return  menu,makeurl  //返回获取的信息


  except:
     print ('exception')

4.爬取制作流程的方法

def getmake(url):
  try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding='utf-8'
    m=r.text
    make=[]

    html = BeautifulSoup(m,'html.parser')
    for i in html.find_all('div',attrs={'class':'cp-show-main-step-item'})://BeautifulSoup库方法find_all方法根据标签查找内容
        make.append(i.div.string)  //append就不赘述了，各种编程语言都有
    return make


  except:
    print ('exception')

5.注意

（1）你可以也注意到了爬取页面的方法和爬取制作方法时，我都采用try-exception的形式，这是避免爬取过程中出现问题，能过及时反馈和查找原因，大家在编写爬虫的时候也尽量采用该方法。

（2）在获取内容的时候需要进行页面分析

根据标签查找相应的内容。

6.代码展示

# -*- coding:utf-8 -*-
import  requests
from bs4 import BeautifulSoup
import  sys
import random

reload(sys)
sys.setdefaultencoding( "utf-8" )

def getmenu(url):
  try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding='utf-8'
    m=r.text
    menu=[]

    html = BeautifulSoup(m,'html.parser')
    for i in html.find_all('div',attrs={'class':'pic'}):
        menu.append(i.img.attrs['alt'])
    for i in html.find_all('div',attrs={'class':'pic'}):
        makeurl=i.a.attrs['href']
    return  menu,makeurl


  except:
    print ('exception')



def getmake(url):
  try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding='utf-8'
    m=r.text
    make=[]

    html = BeautifulSoup(m,'html.parser')
    for i in html.find_all('div',attrs={'class':'cp-show-main-step-item'}):
        make.append(i.div.string)
    return make


  except:
    print ('exception')


def  printmenu(getpage):
     m=random.randint(1,10)
     if getpage[m] in getpage:
           print (getpage[m])



def  choosemenu():
    choose= input('请输入你要获取的菜单推荐内容：')
    flag= input('是否需要具体的做法：1，需要；2，不需要:\n')
    return choose,flag

def main():
    m=choosemenu()
    choose=m[0]
    flag=m[1]
    url = "http://www.chinacaipu.com/index/search?keyword="+choose
    getpage=getmenu(url)[0]
    printmenu(getpage)

    makeurl=getmenu(url)[1]

    make=getmake(makeurl)

    if flag == '1' :
        print ("具体的做法如下所示：\n")
        for i in make :
              print i




main()

写在最后

这次只是简单的实现，更多的靠大家去自己去编写。

编写的过程中，最主要的是能够找到藏在页面HTML中的信息，需要多多练习。