前言
目的：本文试图爬取全北京市不同类别POI的所有数据。
大致流程：
爬取北京市边界坐标 坐标映射到网格，得到北京市的边界网格广度优先遍历，将整个北京市网格化对每一个网格进行poi获取，当获取的数量过多时，对网格再次划分，递归查询
第一步，爬取北京市边界坐标
这里可以利用api来爬取，但为了方便，可以直接用高德地图的示例操作
1.1 打开网址：/api/webservice/guide/api/district
1.2 更改参数并运行
1.3 在示例下的"districts"-->"0"-->"polyline"；得到边界坐标值，复制保存到本地 border.csv，可以在mapinfo下可视化。需要说明的是，爬取的边界有一个缺口，我将缺口的最近两个点途径的三个位置添加了上去。在border.csv中添加的三行数据如下：
115.805,40.415115.815,40.405115.825,40.395
第二步，映射边界网格，北京市网格化
2.1 首先需要设置几个参数
网格大小：0.1 * 0.1 ，这里直接将经纬度的0.1作为网格大小,这意味着网格精确度为0.1
北京市左下角和右上角坐标 : (115.42,39.44)(117.52,41.07)
jmin = 115.42jmax = 117.52wmin = 39.44wmax = 41.07div = 0.1 #设置间隔
2.2 然后，将边界坐标映射到网格。
def
网格后的数据在mapinfo中可视化如下，下面是一个个的小方格。
2.3 从内部一个点出发，广度优先搜索，得到全市的网格数据
其实还有其他方法来实现网格化，但为了方(tou)便(lan)，这里直接从一个网格出发，我选择 的是中心点，广度优先搜索，并在搜索过程中将走过的网格标记。
def BFS(x,y):list1.append([x,y])while len(list1)>0:top = list1.pop()xnow = top[0]ynow = top[1]if xnow<0:returnre[xnow][ynow] = 1#print(xnow,ynow)if re[xnow+1][ynow]==0:list1.append([xnow+1,ynow])if re[xnow][ynow+1]==0:list1.append([xnow,ynow+1])if re[xnow-1][ynow]==0:list1.append([xnow-1,ynow])if re[xnow][ynow-1]==0:list1.append([xnow,ynow-1])list1 = []BFS(int(num_j//2),int(num_w//2))
然后将网格映射到坐标，可以直接拿网格左小角作为映射结果。
for i in range(num_j):for j in range(num_w):if re[i][j]>0:ix = round(i*div+jmin,2)iy = round(j*div+wmin,2)print(ix,',',iy)
得到的结果如下，图中的方格只是网格左小角坐标，大家懂意思就好：
第三步，对每一个网格爬取POI
这里使用高德地图的多边形搜索API，具体参数可以查看/api/webservice/guide/api/search
这里需要介绍一下这一API的限制。高德地图规定每一个KEY每天只能调用2000次，经过测试，每一个账号可以申请10个KEY；在每一次调用“多边形搜索”API时，每一页最多返回25条数据，这意味着每天一个账号最多可获取50万条POI，这是最理想的情况，因为一页不可能总是满的。
同时，“多边形搜索”API最多只能返回一个多边形小于900的数据量；保险起见，当遇到某一个网格的POI数据量大于850的时候，需要再次划分网格进行递归查询。这一部分需要简单的调用requests和json库，构建URL参考请参考高德地图API文档-搜索POI中的“多边形搜索”，不多解释，完整代码如下。
import numpy as npimport pandas as pdimport requestsimport jsondef search_poi(x,y,divt,poi_type,page):global keyiglobal api_count#构建URLpolygon = str(x)+','+str(y)+'|'+str(x+divt)+','+str(y+divt)u= "/v3/place/polygon?key="+keys[keyi]+'&polygon='+polygon +'&types='+poi_type+'&extensions=all&output=json&offset=25&page='+str(page)api_count += 1 #记录一次调用#单个key超出2000次限额，更换keyif api_count>=2000:keyi += 1print("change key!now key is",keys[keyi])api_count=0#解析数据data=requests.get(u)s=data.json()#查询错误if s['status']!='1':print('eror!') return#如果网格太大，递归查询if int(s['count'])>800:print("too much!count is"+s['count'])search_poi(x,y,divt/2,poi_type,1)search_poi(x+divt/2,y,divt/2,poi_type,1)search_poi(x,y+divt/2,divt/2,poi_type,1)search_poi(x+divt/2,y+divt/2,divt/2,poi_type,1)return#这里可以按照需求，修改成存储结果，我这里只做了输出print('now location:',x,y,divt,';now page:',page,'now api count:',api_count)if len(s['pois'])>0:for i in range(len(s['pois'])):print(s['pois'][i]['name'],s['pois'][i]['typecode'],s['pois'][i]['location'])#若不止一页，查询下一页if len(s['pois'])==25:search_poi(x,y,divt,poi_type,page+1)#mainkeys = ['A','B','C','D','E','F','G','H','I','J']#自己申请的10个keyglobal keyi#当前使用的key编号global api_count#每一个key调用api的次数keyi = 0api_count=0div = 0.1 #设置网格大小poi_type='150700'#当前搜索的POI类，具体参考grid_jw = pd.read_csv('beijing_grid.csv',header=None) #保存的北京市网格数据#对所有网格循环搜索POIfor index,rows in grid_jw.iterrows():search_poi(rows[0],rows[1],div,poi_type,1)
（beijing_grid.csv存储之前得到的所有网格的左小角的经纬度）
每次只需要改变POI类，关于这一编码可以参考高德地图POI分类编码表；以及改变keyi，这个需要查看自己高德地图控制台的应用管理内的每一个KEY的额度。比如：
