结合GIS与Python，爬取百度商业POI

一、总体思路

1-利用arcgis创建渔网，商业网点稀疏用大矩形，商业网点密集用小矩形
2-求出矩形左下角和右上角坐标点，读取矩形表得到坐标串

　　maxX= !shape.extent.xmax!
　　minX= !shape.extent.xmin!
3-采用百度API矩形区域检索，发起GET请求，并解析json数据
4-本地存储到Excel
5-转为shp，gis可视化

二、代码实现

1、利用arcgis创建渔网，商业网点稀疏用大矩形，商业网点密集用小矩形

由于百度API限制，一个矩形范围内仅能下载400条记录（400个POI），为了减少请求次数，提高效率，对目标区域进行处理：商业网点稀疏用大矩形，商业网点密集用小矩形。这里利用ArcGIS渔网工具，最小网格为2KM*2KM。类似如下图：

 

2、求出矩形左下角和右上角坐标点，读取矩形表得到坐标串

1-新建左下角X，左下角Y，右上角X，右上角Y，bsm字段

2-利用arcmap字段计算器工具计算每个矩形的左下角和右上角坐标点，表达式为：

左下角X,Y：　　　　　　　　　　　　　　　　　　右上角X,Y：

　　minX= !shape.extent.xmin!　　　　　　　　　　　　maxX= !shape.extent.xmax!　　
　　minY= !shape.extent.ymin!　　　　　　　　　　　　maxY= !shape.extent.ymax!

 3-代码读取坐标串

import pandas as pd
def get_bounds(self,path,sheet_name): # 1读取矩形表
    bounds={}
    df = pd.read_excel(io = path, sheet_name=sheet_name)
    for index in df.index:
        bsm = df.at[index, 'bsm']
        ymin = df.at[index, '左下角Y']
        xmin = df.at[index, '左下角X']
        ymax = df.at[index, '右上角Y']
        xmax = df.at[index, '右上角X']
        coord = str(ymin) + ',' + str(xmin) + ',' + str(ymax) + ',' + str(xmax)
        bounds[bsm] = coord  #一个标识码对应一个坐标串，方便后续查看每个矩形框下载完成情况
    return bounds

 

3、采用矩形区域检索，发起GET请求，并解析json数据

4、本地存储到Excel

百度API文档示例：http://api.map.baidu.com/place/v2/search?query=银行&bounds=39.915,116.404,39.975,116.414&output=json&ak={您的密钥} //GET请求

百度POI分类：http://lbsyun.baidu.com/index.php?title=lbscloud/poitags

    def get_poi(self,query,bound,bsm,path):    # 2发起请求
        wb = openpyxl.load_workbook(path)  # 打开工作簿
        ws1 = wb['POI']  # 选取表单，为了写入POI信息
        ws2 = wb['Summary'] #为了记录每个矩形框下载情况是否超400条记录，如果有超过，就得重新分成小矩形
        for page_num in range(20):  # 请求页面循环，返回的poi是百度坐标需要坐标转换
            print('正在爬取矩形框bsm为{0}的第{1}页数据...'.format(bsm,page_num+1))
            url = 'http://api.map.baidu.com/place/v2/search'
            params = {
                'query': query,  # 示例，；分开
                'bounds': bound,  # 1：检索矩形区域，多组坐标间以","分隔  # 38.76623,116.43213,39.54321,116.46773 lat,lng(左下角坐标),lat,lng(右上角坐标)
                'output': 'json',
                'coord_type': '1',  # 1（wgs84ll即GPS经纬度）  表示输入的是wgs坐标
                'page_size': '20',
                'page_num': page_num,  # 0代表第一页
                'ak': '你的ak'
            }
            # 拿到一页详情
            detail_page = requests.get(url=url,params=params,headers=self.headers).json()
            if len(detail_page['results']) == 0 and detail_page['status'] == 0:  #判断如果请求页面没有数据，就爬取下一页
                print('请求成功，但是没有记录，开始下一页爬取。')  
                break
            #解析
            for dic_result in detail_page['results']:
                total = detail_page['total']  # 后续查看爬取情况是否满400条记录
                # 基本信息，做判断相应的关键字中是否都有结果，没有赋值为‘’
                if 'name' in dic_result.keys():
                    name = dic_result['name']
                else:
                    name = ''
                if 'location' in dic_result.keys():
                    lng, lat = cc.bd09_to_wgs84(dic_result['location']['lng'], dic_result['location']['lat']) #百度坐标转gps
                else:
                    lng, lat = '',''
                if 'address' in  dic_result.keys():
                    address = dic_result['address']
                else:
                    address=''
                # 详情信息
                # if dic_result['detail_info'].key():
                #     price = dic_result['detail_info']['price'] #均价
                #     overall_rating = dic_result['detail_info']['overall_rating']  #总体评分
                #     comment_num = dic_result['detail_info']['comment_num']  #评论数
                # return [name,lng,lat,address,bsm],[bsm,total]
                ws1.append([name,lng,lat,address,bsm])
                ws2.append([bsm,total])
            print('矩形框bsm为{0}的第{1}页数据下载成功！'.format(bsm,page_num+1))
            time.sleep(0.5) #防止访问过快，百度服务求拒绝请求
        wb.save(path)
        print('-------矩形框bsm为{0}数据下载完成-------'.format(bsm))

 

5、GIS可视化

 利用GIS的核密度工具，生成商业网点热力图。population字段为权重字段，不同商业网点不同的规模，这里不做设置，仅仅体现数量的密集度。也可以结合arcScene做3D效果。

 

　　　　

 

附完整代码

这里没必要用类编程，只是现学现用了，直接函数式编程即可

import requests,time,openpyxl,os
import pandas as pd
import coordconversion as cc
class BaiduSpider():
    def __init__(self):
        self.headers= {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36'
        }

    def get_bounds(self,path,sheet_name): # 1读取矩形表
        bounds={}
        df = pd.read_excel(io = path, sheet_name=sheet_name)
        for index in df.index:
            bsm = df.at[index, 'bsm']
            ymin = df.at[index, '左下角Y']
            xmin = df.at[index, '左下角X']
            ymax = df.at[index, '右上角Y']
            xmax = df.at[index, '右上角X']
            coord = str(ymin) + ',' + str(xmin) + ',' + str(ymax) + ',' + str(xmax)
            bounds[bsm] = coord
        return bounds

    def get_poi(self,query,bound,bsm,path):    # 2发起请求
        wb = openpyxl.load_workbook(path)  # 打开工作簿
        ws1 = wb['POI']  # 选取表单，为了写入POI信息
        ws2 = wb['Summary'] #为了记录每个矩形框下载情况是否超400条记录，如果有超过，就得重新分成小矩形
        for page_num in range(20):  # 请求页面循环，返回的poi是百度坐标需要坐标转换
            print('正在爬取矩形框bsm为{0}的第{1}页数据...'.format(bsm,page_num+1))
            url = 'http://api.map.baidu.com/place/v2/search'
            params = {
                'query': query,  # 示例，；分开
                'bounds': bound,  # 1：检索矩形区域，多组坐标间以","分隔  # 38.76623,116.43213,39.54321,116.46773 lat,lng(左下角坐标),lat,lng(右上角坐标)
                'output': 'json',
                'coord_type': '1',  # 1（wgs84ll即GPS经纬度）  表示输入的是wgs坐标
                'page_size': '20',
                'page_num': page_num,  # 0代表第一页
                'ak': '你的ak'
            }
            # 拿到一页详情
            detail_page = requests.get(url=url,params=params,headers=self.headers).json()
            if len(detail_page['results']) == 0 and detail_page['status'] == 0:  #判断如果请求页面没有数据，就爬取下一页
                print('请求成功，但是没有记录，开始下一页爬取。')
                break
            #解析
            for dic_result in detail_page['results']:
                total = detail_page['total']  # 后续查看爬取情况是否满400条记录
                # 基本信息，做判断相应的关键字中是否都有结果，没有赋值为‘’
                if 'name' in dic_result.keys():
                    name = dic_result['name']
                else:
                    name = ''
                if 'location' in dic_result.keys():
                    lng, lat = cc.bd09_to_wgs84(dic_result['location']['lng'], dic_result['location']['lat']) #百度坐标转gps
                else:
                    lng, lat = '',''
                if 'address' in  dic_result.keys():
                    address = dic_result['address']
                else:
                    address=''
                # 详情信息
                # if dic_result['detail_info'].key():
                #     price = dic_result['detail_info']['price'] #均价
                #     overall_rating = dic_result['detail_info']['overall_rating']  #总体评分
                #     comment_num = dic_result['detail_info']['comment_num']  #评论数
                # return [name,lng,lat,address,bsm],[bsm,total]
                ws1.append([name,lng,lat,address,bsm])
                ws2.append([bsm,total])
            print('矩形框bsm为{0}的第{1}页数据下载成功！'.format(bsm,page_num+1))
            time.sleep(0.5) #防止访问过快，百度服务求拒绝请求
        wb.save(path)
        print('-------矩形框bsm为{0}数据下载完成-------'.format(bsm))

    def creat_excel(self,path):  #写
        if not os.path.exists(path):
            wb = openpyxl.Workbook() #创建工作簿
            ws1=wb.create_sheet('POI') #新增一个POI表单
            ws1.append(['name', 'lng', 'lat', 'address', 'bsm'])
            ws2=wb.create_sheet('Summary') #新增一个汇总表单
            ws2.append(['bsm','total'])
            wb.save(path)  # 保存

if __name__=='__main__':
    query = '休闲娱乐'
    bs = BaiduSpider()
    bs.creat_excel(path = query + '商业网点POI.xlsx')
    bounds=bs.get_bounds(path = r'F:\商业网点规划\矩形表.xlsx', sheet_name = 'Sheet1')  # 读取矩形表
    for bsm, bound in bounds.items():  # 矩形框循环，bsm用于记录哪些矩形框已经爬取过了
        bs.get_poi(query = query,bound = bound,bsm = bsm,path = query + '商业网点POI.xlsx')
        # print(bsm,bound)
    print('---------------程序结束！--------------')