Hi,
I,m trying to to write a backend that can generate tiles folder structure and images based on the example that We can find here
Maybe the example is little bit outdated, but essentially it just works as expected with minimal changes like new loader for my datasource, parquet files hosted in S3 buckets, that are downloaded and converted to dataframe.
The problem is the next, when I run my script and everything just seems to be normal, the folders and image tiles start to popping inside the output dir and then I’m able to run a simple python http server on this folder and connect leaflet to this XYZ source layer. Then when I go from 0 zoom level to greater zoom levels everything works fine, but I’m not be able to update my map layer beyond 5 zoom level. Leaflet is simply querying for unexistent zoom level folders, well, to be more precise, this level folders exists but seems to have different numeric names rather than expected by leaflet.
Versions:
Python 3.7.9
datashader==0.13.0
holoviews==1.14.5
Script sample:
from datashader.tiles import render_tiles
import pandas as pd
import datashader as ds
import datashader.transfer_functions as tf
from datashader.colors import viridis
import holoviews as hv
from kpi.tta.maps.config.country_bounding_boxes import country_bounding_boxes
# extent_of_area_i_want_to_tile = (-500000, -500000, 500000, 500000) # xmin, ymin, xmax, ymax
bbox = country_bounding_boxes['MX'][1]
def load_data_func(x_range, y_range):
df = pd.read_parquet(
path='s3://xxx/coverage/334/202007/MX.ATT/LTE/coverage_334_202007_MX.ATT_LTE/')
df['longitude'] = pd.to_numeric(df.longitude, errors='coerce')
df['latitude'] = pd.to_numeric(df.latitude, errors='coerce')
df.dropna(subset=['longitude', 'latitude'], inplace=True)
df["longitude"], df["latitude"] = hv.Tiles.lon_lat_to_easting_northing(
df["longitude"], df["latitude"]
)
df = df[['longitude', 'latitude', 'value']].rename(columns={'longitude': 'x', 'latitude': 'y'})
# df = df.loc[df['x'].between(*x_range) & df['y'].between(*y_range)]
return df
def rasterize_func(df, x_range, y_range, height, width):
cvs = ds.Canvas(x_range=x_range, y_range=y_range,
plot_height=height, plot_width=width)
agg = cvs.points(df, 'x', 'y')
return agg
def shader_func(agg, span=None):
# img = tf.shade(agg, cmap=reversed(viridis), span=span, how='log')
img = tf.shade(agg, cmap=viridis, span=span, how='log')
return img
def post_render_func(img, **kwargs):
return img
if __name__ == "__main__":
render_tiles(
full_extent=bbox,
levels=range(0, 16),
output_path='example_tileset_output_directory',
load_data_func=load_data_func,
rasterize_func=rasterize_func,
shader_func=shader_func,
post_render_func=post_render_func
)
Sample of the script output, seems normal, no error:
calculating statistics for level 0
rendering 1 supertiles for zoom level 0 with span=(0, 1767208)
calculating statistics for level 1
rendering 1 supertiles for zoom level 1 with span=(0, 861200)
calculating statistics for level 2
rendering 1 supertiles for zoom level 2 with span=(0, 736715)
calculating statistics for level 3
rendering 1 supertiles for zoom level 3 with span=(0, 473304)
calculating statistics for level 4
rendering 1 supertiles for zoom level 4 with span=(0, 223669)
calculating statistics for level 5
rendering 4 supertiles for zoom level 5 with span=(0, 96105)
calculating statistics for level 6
rendering 4 supertiles for zoom level 6 with span=(0, 3950)
calculating statistics for level 7
rendering 4 supertiles for zoom level 7 with span=(0, 6)
calculating statistics for level 8
rendering 4 supertiles for zoom level 8 with span=(0, 0)
calculating statistics for level 9
rendering 4 supertiles for zoom level 9 with span=(0, 0)
calculating statistics for level 10
rendering 4 supertiles for zoom level 10 with span=(0, 0)
Sample of tiles output dir:
example_tileset_output_directory/
├── 0
│ └── 0
├── 1
│ ├── 0
│ └── 1
├── 10
│ ├── 496
│ ├── 497
│ ├── 498
│ ├── 499
│ ├── 500
│ ├── 501
│ ├── 502
│ ├── 503
│ ├── 504
│ ├── 505
│ ├── 506
│ ├── 507
│ ├── 508
│ ├── 509
│ ├── 510
│ ├── 511
│ ├── 512
│ ├── 513
│ ├── 514
│ ├── 515
│ ├── 516
│ ├── 517
│ ├── 518
│ ├── 519
│ ├── 520
│ ├── 521
│ ├── 522
│ ├── 523
│ ├── 524
│ ├── 525
│ ├── 526
│ └── 527
├── 11
│ ├── 1000
│ ├── 1001
│ ├── 1002
│ ├── 1003
│ ├── 1004
│ ├── 1005
│ ├── 1006
│ ├── 1007
│ ├── 1008
│ ├── 1009
│ ├── 1010
│ ├── 1011
│ ├── 1012
│ ├── 1013
│ ├── 1014
│ ├── 1015
│ ├── 1016
│ ├── 1017
│ ├── 1018
│ ├── 1019
│ ├── 1020
│ ├── 1021
│ ├── 1022
│ ├── 1023
│ ├── 1024
│ ├── 1025
│ ├── 1026
│ ├── 1027
│ ├── 1028
│ ├── 1029
│ ├── 1030
│ ├── 1031
│ ├── 1032
│ ├── 1033
│ ├── 1034
│ ├── 1035
│ ├── 1036
│ ├── 1037
│ ├── 1038
│ ├── 1039
│ ├── 1040
│ ├── 1041
│ ├── 1042
│ ├── 1043
│ ├── 1044
│ ├── 1045
│ ├── 1046
│ ├── 1047
│ ├── 1048
│ ├── 1049
│ ├── 1050
│ ├── 1051
│ ├── 1052
│ ├── 1053
│ ├── 1054
│ ├── 1055
│ ├── 992
│ ├── 993
│ ├── 994
│ ├── 995
│ ├── 996
│ ├── 997
│ ├── 998
│ └── 999
├── 2
│ ├── 0
│ ├── 1
│ ├── 2
│ └── 3
├── 3
│ ├── 0
│ ├── 1
│ ├── 2
│ ├── 3
│ ├── 4
│ ├── 5
│ ├── 6
│ └── 7
├── 4
│ ├── 0
│ ├── 1
│ ├── 10
│ ├── 11
│ ├── 12
│ ├── 13
│ ├── 14
│ ├── 15
│ ├── 2
│ ├── 3
│ ├── 4
│ ├── 5
│ ├── 6
│ ├── 7
│ ├── 8
│ └── 9
├── 5
│ ├── 0
│ ├── 1
│ ├── 10
│ ├── 11
│ ├── 12
│ ├── 13
│ ├── 14
│ ├── 15
│ ├── 16
│ ├── 17
│ ├── 18
│ ├── 19
│ ├── 2
│ ├── 20
│ ├── 21
│ ├── 22
│ ├── 23
│ ├── 24
│ ├── 25
│ ├── 26
│ ├── 27
│ ├── 28
│ ├── 29
│ ├── 3
│ ├── 30
│ ├── 31
│ ├── 4
│ ├── 5
│ ├── 6
│ ├── 7
│ ├── 8
│ └── 9
├── 6
│ ├── 16
│ ├── 17
│ ├── 18
│ ├── 19
│ ├── 20
│ ├── 21
│ ├── 22
│ ├── 23
│ ├── 24
│ ├── 25
│ ├── 26
│ ├── 27
│ ├── 28
│ ├── 29
│ ├── 30
│ ├── 31
│ ├── 32
│ ├── 33
│ ├── 34
│ ├── 35
│ ├── 36
│ ├── 37
│ ├── 38
│ ├── 39
│ ├── 40
│ ├── 41
│ ├── 42
│ ├── 43
│ ├── 44
│ ├── 45
│ ├── 46
│ └── 47
├── 7
│ ├── 48
│ ├── 49
│ ├── 50
│ ├── 51
│ ├── 52
│ ├── 53
│ ├── 54
│ ├── 55
│ ├── 56
│ ├── 57
│ ├── 58
│ ├── 59
│ ├── 60
│ ├── 61
│ ├── 62
│ ├── 63
│ ├── 64
│ ├── 65
│ ├── 66
│ ├── 67
│ ├── 68
│ ├── 69
│ ├── 70
│ ├── 71
│ ├── 72
│ ├── 73
│ ├── 74
│ ├── 75
│ ├── 76
│ ├── 77
│ ├── 78
│ └── 79
├── 8
│ ├── 112
│ ├── 113
│ ├── 114
│ ├── 115
│ ├── 116
│ ├── 117
│ ├── 118
│ ├── 119
│ ├── 120
│ ├── 121
│ ├── 122
│ ├── 123
│ ├── 124
│ ├── 125
│ ├── 126
│ ├── 127
│ ├── 128
│ ├── 129
│ ├── 130
│ ├── 131
│ ├── 132
│ ├── 133
│ ├── 134
│ ├── 135
│ ├── 136
│ ├── 137
│ ├── 138
│ ├── 139
│ ├── 140
│ ├── 141
│ ├── 142
│ └── 143
└── 9
├── 240
├── 241
├── 242
├── 243
├── 244
├── 245
├── 246
├── 247
├── 248
├── 249
├── 250
├── 251
├── 252
├── 253
├── 254
├── 255
├── 256
├── 257
├── 258
├── 259
├── 260
├── 261
├── 262
├── 263
├── 264
├── 265
├── 266
├── 267
├── 268
├── 269
├── 270
└── 271
Sample of leaflet requesting unexisting images in resulting tiles output:
127.0.0.1 - - [10/Sep/2021 10:23:47] "GET /6/15/26.png HTTP/1.1" 404 -
127.0.0.1 - - [10/Sep/2021 10:23:47] "GET /6/11/28.png HTTP/1.1" 404 -
127.0.0.1 - - [10/Sep/2021 10:23:47] "GET /6/11/26.png HTTP/1.1" 404 -
If you look carefully to the server log and compare that 404 to the previous output, You will realize that there is no /6/11/ structure dir and the same structure mismatch is the similar to every zoom level beyond 5.
I’ve spent some time testing with other XYZ layer client, like OpenLayers and just obtained the same result.
I’m not sure if I’m not using the tiling tool in a proper way or I’m missing some previous adjustements to data or method params to get the desired output or at least the one required by leaflet or similar XYZ web clients.
I hope that someone can help me a little bit to find the problem. Thank You.
Regards,
Javier.