LOOP 抓取数据时

Question

我正在尝试使用循环来废弃数据，这是代码

import requests

import json

import pandas as pd

parameters = ['a:1','a:2','a:3','a:4','a:3','a:4','a:5','a:6','a:7','a:8','a:9','a:10']

results = pd.DataFrame()

for item in parameters:

    key, value = item.split(':')

    url = "https://xxxx.000webhostapp.com/getNamesEnc02Motasel2.php?keyword=%s&type=2&limit=%s" %(key, value)

    r = requests.get(url)

    cont = json.loads(r.content)

    temp_df = pd.DataFrame(cont)

    results = results.append(temp_df)

results.to_csv('ScrapeData.csv', index=False)

这种方法效果很好，但问题是我需要参数 = 直到 'a:1000'，我认为有一个更好的解决方案可以从 'a:1' 循环到 'a:1000' 而不是像这样复制参数我的代码。

我真的需要你的帮助

Answer 1

使用可以使用for i in range(start, end)循环。像这样results = pd.DataFrame()key = 'a'# Goes from 1 to 1000 (including both)for value in range(1, 1001):    url = f'https://xxxx.000webhostapp.com/getNamesEnc02Motasel2.php?keyword={key}&type=2&limit={value}'    r = requests.get(url)    cont = json.loads(r.content)    temp_df = pd.DataFrame(cont)    results = results.append(temp_df)results.to_csv('ScrapeData.csv', index=False)

Answer 2

value = 1key = 'a'while value <= 1000:&nbsp; &nbsp; url = .....%(key, str(value))&nbsp; &nbsp; ....&nbsp; &nbsp; ....&nbsp; &nbsp; value += 1......使用计数器