python HTMLparser

1.概述

 

如果我们要编写一个搜索引擎，第一步是用爬虫把目标网站的页面抓下来，
第二步就是解析该HTML页面，看看里面的内容到底是新闻、图片还是视频。

假设第一步已经完成了，第二步应该如何解析HTML呢？

HTML本质上是XML的子集，但是HTML的语法没有XML那么严格，所以不能用标准的DOM或SAX来解析HTML。
也可以用 re正则表达式
scrapy 框架下的css选择器或者xpath

仁者见仁智者见智

 

2.HTMLparser

# 使用时需要定义一个从类HTMLParser继承的类，重定义函数：
# handle_starttag( tag, attrs)
#handle_startendtag( tag, attrs)
# handle_endtag( tag)

# 来实现自己需要的功能。

# tag是的html标签，attrs是 (属性，值)元组(tuple)的列表(list)。
# HTMLParser自动将tag和attrs都转为小写


from html.parser import HTMLParser  
class MyHTMLParser(HTMLParser):   
    def __init__(self):   
        HTMLParser.__init__(self)   
        self.links = []   
    def handle_starttag(self, tag, attrs):   
        #print "Encountered the beginning of a %s tag" % tag   
        if tag == "a":   
            if len(attrs) == 0:   
                pass   
            else:   
                for (variable, value) in attrs:   
                    if variable == "href":   
                        self.links.append(value)   
                     
if __name__ == "__main__":   
    html_code = """ <a href="www.google.com"> google.com</a> <A Href="www.pythonclub.org"> PythonClub </a> <A HREF = "www.sina.com.cn"> Sina </a> """   
    hp = MyHTMLParser()   
    hp.feed(html_code)   
    hp.close()   
    print(hp.links)  
# 运行结果
# ['www.google.com', 'www.pythonclub.org', 'www.sina.com.cn']

3.总结

 个人观点 2 如果是做搜索引擎建议还是用scrapy框架  

 

 参照：https://www.cnblogs.com/mfryf/p/3691563.html