API网络数据采集

Question

我正在尝试提取高尔夫统计数据以进行分析项目。

TL;DR 摘要：我应该抓取还是使用在网络控制台中找到的 API 的循环？

我想按年份（2015 年至今）提取 6 或 7 个统计类别的数据，最好按锦标赛提取数据，以便更好地对玩家锦标赛表现进行分类。基本网址是：https://www.pgatour.com/stats

该网站有很多页面，一旦您单击特定的统计页面，它就会显示三个下拉字段：季节（包含年份）、时间段（仅限锦标赛或年初至今）和锦标赛（锦标赛名称）

发现可能隐藏的API：

https://statdata-api-prod.pgatour.com/api/clientfile/YTDEventStats?T_CODE=r&STAT_ID=02671&YEAR=2021&format=json

但这仅包含最近锦标赛的数据，并且不是很干净（表数据没有统计类别标题）：

我可以通过更改 Stat ID=值和年份来调整 JSON API。所以这是一个选项，但我必须弄清楚如何仅将锦标赛 ID 号和锦标赛统计数据添加为键值对。

示例的 URL 如下所示：https://www.pgatour.com/content/pgatour/stats/stat.02674.y2017.eon.t030.html eon 仅进行统计锦标赛（eoff 表示 YTD），t030 是锦标赛标记。

我是否应该创建循环并更改年份、锦标赛编号和统计编号并获取 JSON 中的所有信息并尝试将其放入 df 中？

1. 如何将锦标赛和 eon 预选赛添加为 JSON url 中的键值对？

2. 这可行吗？

或者我应该抓取它并尝试使用 HTML（可能能够捕获统计行标题）？

包括网站上一张桌子的快照