前言
目的:本文试图爬取全北京市不同类别POI的所有数据。
大致流程:爬取北京市边界坐标
坐标映射到网格,得到北京市的边界网格
广度优先遍历,将整个北京市网格化
对每一个网格进行poi获取,当获取的数量过多时,对网格再次划分,递归查询
第一步,爬取北京市边界坐标
这里可以利用api来爬取,但为了方便,可以直接用高德地图的示例操作
1.2 更改参数并运行
1.3 在示例下的"districts"-->"0"-->"polyline";得到边界坐标值,复制保存到本地 border.csv,可以在mapinfo下可视化。需要说明的是,爬取的边界有一个缺口,我将缺口的最近两个点途径的三个位置添加了上去。在border.csv中添加的三行数据如下:
115.805,40.415
115.815,40.405
115.825,40.395
第二步,映射边界网格,北京市网格化
2.1 首先需要设置几个参数
网格大小:0.1 * 0.1 ,这里直接将经纬度的0.1作为网格大小,这意味着网格精确度为0.1
北京市左下角和右上角坐标 : (115.42,39.44)(117.52,41.07)
jmin = 115.42
jmax = 117.52
wmin = 39.44
wmax = 41.07
div = 0.1 #设置间隔
2.2 然后,将边界坐标映射到网格。
def to_n(rows):
j = rows.iloc[0]
w = rows.iloc[1]
x = int((j-jmin)//div)
y = int((w-wmin)//div)
if x >= num_j: #防止落在边界上的点越界
x = num_j - 1
if y >= num_w:
y = num_w - 1
re[x][y] += 1
border = pd.read_csv('border.csv',header=None)
num_j = int((jmax-jmin)//div)
num_w = int((wmax-wmin)//div)
re = np.zeros([num_j,num_w]) #re存放落在每一个网格内的边界坐标个数
border = pd.read('border.csv',header=None) #border.csv存储边界坐标,有经纬度两列。
border.apply(to_n,axis=1,result_type='expand')
网格后的数据在mapinfo中可视化如下,下面是一个个的小方格。
2.3 从内部一个点出发,广度优先搜索,得到全市的网格数据
其实还有其他方法来实现网格化,但为了方(tou)便(lan),这里直接从一个网格出发,我选择 的是中心点,广度优先搜索,并在搜索过程中将走过的网格标记。
def BFS(x,y):
list1.append([x,y])
while len(list1)>0:
top = list1.pop()
xnow = top[0]
ynow = top[1]
if xnow<0:
return
re[xnow][ynow] = 1
#print(xnow,ynow)
if re[xnow+1][ynow]==0:
list1.append([xnow+1,ynow])
if re[xnow][ynow+1]==0:
list1.append([xnow,ynow+1])
if re[xnow-1][ynow]==0:
list1.append([xnow-1,ynow])
if re[xnow][ynow-1]==0:
list1.append([xnow,ynow-1])
list1 = []
BFS(int(num_j//2),int(num_w//2))
然后将网格映射到坐标,可以直接拿网格左小角作为映射结果。
for i in range(num_j):
for j in range(num_w):
if re[i][j]>0:
ix = round(i*div+jmin,2)
iy = round(j*div+wmin,2)
print(ix,',',iy)
得到的结果如下,图中的方格只是网格左小角坐标,大家懂意思就好:
第三步,对每一个网格爬取POI
这里需要介绍一下这一API的限制。高德地图规定每一个KEY每天只能调用2000次,经过测试,每一个账号可以申请10个KEY;在每一次调用“多边形搜索”API时,每一页最多返回25条数据,这意味着每天一个账号最多可获取50万条POI,这是最理想的情况,因为一页不可能总是满的。
同时,“多边形搜索”API最多只能返回一个多边形小于900的数据量;保险起见,当遇到某一个网格的POI数据量大于850的时候,需要再次划分网格进行递归查询。这一部分需要简单的调用requests和json库,构建URL参考请参考高德地图API文档-搜索POI中的“多边形搜索”,不多解释,完整代码如下。
import numpy as np
import pandas as pd
import requests
import json
def search_poi(x,y,divt,poi_type,page):
global keyi
global api_count
#构建URL
polygon = str(x)+','+str(y)+'|'+str(x+divt)+','+str(y+divt)
u= "/v3/place/polygon?key="+keys[keyi]+'&polygon='+polygon +'&types='+poi_type+'&extensions=all&output=json&offset=25&page='+str(page)
api_count += 1 #记录一次调用
#单个key超出2000次限额,更换key
if api_count>=2000:
keyi += 1
print("change key!now key is",keys[keyi])
api_count=0
#解析数据
data=requests.get(u)
s=data.json()
#查询错误
if s['status']!='1':
print('eror!')
return
#如果网格太大,递归查询
if int(s['count'])>800:
print("too much!count is"+s['count'])
search_poi(x,y,divt/2,poi_type,1)
search_poi(x+divt/2,y,divt/2,poi_type,1)
search_poi(x,y+divt/2,divt/2,poi_type,1)
search_poi(x+divt/2,y+divt/2,divt/2,poi_type,1)
return
#这里可以按照需求,修改成存储结果,我这里只做了输出
print('now location:',x,y,divt,';now page:',page,'now api count:',api_count)
if len(s['pois'])>0:
for i in range(len(s['pois'])):
print(s['pois'][i]['name'],s['pois'][i]['typecode'],s['pois'][i]['location'])
#若不止一页,查询下一页
if len(s['pois'])==25:
search_poi(x,y,divt,poi_type,page+1)
#main
keys = ['A','B','C','D','E','F','G','H','I','J']#自己申请的10个key
global keyi#当前使用的key编号
global api_count#每一个key调用api的次数
keyi = 0
api_count=0
div = 0.1 #设置网格大小
poi_type='150700'#当前搜索的POI类,具体参考
grid_jw = pd.read_csv('beijing_grid.csv',header=None) #保存的北京市网格数据
#对所有网格循环搜索POI
for index,rows in grid_jw.iterrows():
search_poi(rows[0],rows[1],div,poi_type,1)
(beijing_grid.csv存储之前得到的所有网格的左小角的经纬度)
每次只需要改变POI类,关于这一编码可以参考高德地图POI分类编码表;以及改变keyi,这个需要查看自己高德地图控制台的应用管理内的每一个KEY的额度。比如: