Python爬虫下载whois server字典和whois自动化查询

上篇文章主要介绍了python通过socket查询whois的方法,涉及Python基于socket模块进行查询的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下    http://www.cnblogs.com/zhangmengqin/p/9144022.html

敲黑板！！！

        每个域名后缀 对应的 whois server都是不一样的！ 

 

那么 我怎么知道我要查询的域名后缀对应的whois server？？ 

别急 这里有宝贝----  https://www.iana.org/domains/root/db  （ 这里有全世界各种后缀的whois server ，随便找一个点进去）

例如我点击这个：

 

 这个 后缀 必须要 对应这个whois server

域名的后缀有几千个，我要手工获取所有后缀及其对应的whois server 那不是手都要废了……

然而我立马想到了Python爬虫，在本地做成字典 这样就很方便了。到时候匹配这个字典的key就可以自动获取对应的  whois server进行查询

1.首先我们获取 https://www.iana.org/domains/root/db  里全世界的域名后缀

import requests
from bs4 import BeautifulSoup

iurl = 'https://www.iana.org/domains/root/db'
res = requests.get(iurl,timeout=600)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
list1=[]
list2=[]
jsonStr={}
for tag in soup.find_all('span', class_='domain tld'):
   d_suffix = tag.get_text()
   print(d_suffix)

用到的是BeautifulSoup，好处就是不用自己写正则，只要根据他的语法来写就好了，在多次的测试之后终于完成了数据的解析

 

2.通过获取的域名后缀获取他们的whois server 并保存在本地文件

import requests
from bs4 import BeautifulSoup
import re
import time

iurl = 'https://www.iana.org/domains/root/db'
res = requests.get(iurl,timeout=600)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
list1=[]
list2=[]
jsonStr={}
for tag in soup.find_all('span', class_='domain tld'):
   d_suffix = tag.get_text()
   print(d_suffix)
   list2.append(d_suffix)
   n_suffix = d_suffix.split('.')[1]
   new_url = iurl + '/' + n_suffix
   server=''
   try:
        res2=requests.get(new_url,timeout=600)
        res2.encoding='utf-8'
        soup2= BeautifulSoup(res2.text,'html.parser')

        retxt = re.compile(r'<b>WHOIS Server:</b> (.*?)\n')
        arr = retxt.findall(res2.text)
        if len(arr) > 0:
             server = arr[0]
             list2.append(server)
        print(server)
        time.sleep(1)
   except Exception as e:
         print('超时')

   with open('suffixList.txt', "a",encoding='utf-8') as my_file:
       my_file.write(n_suffix + ":" + server+'\n')

print('抓取结束！！！')

上边这点代码下来，着实花费了我不少时间，边写边调试，边百度~~不过还好最终还是出来了。等数据都整理好之后，然后我把它保存到了txt文件里面。

因为获取到的是html页面样式，所以想到的是一层层去解析，没想到用正则这么简单！看来小白确实得扎实基础哦~

 

3.随机输入任何一个后缀或域名，能自动查询whois

 

temp = input('请输入你要查询的域名：')
result = temp.split('.')[0]
result1=temp.split('.')[1]
r_suf='.'+result1
print(type(r_suf))
# print(result)
print(r_suf)

# d = json.dumps(dictionary)
whois_server =dictionary.get(r_suf)
print(whois_server)
print(type(whois_server))

if whois_server is None:
    print(r_suf + '此后缀出小差啦~')
else:

    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.connect((whois_server, 43))
    temp=( temp +'\r\n').encode()
    s.send(temp)
    response = b''
    while True:
        data = s.recv(4096)
        response += data
        if not data:
            break
    s.close()
    print(response.decode())

 

纸上得来终觉浅，绝知此事要躬行。这句话一点没错，看和做真是两码事。这里百度一下，那里google一下，问题就解决了，程序也出来了，最主要是要动手动手动手！

https://whois.22.cn/  你也可以直接进行查询的哦。