aiohttp异步请求页面，如何每请求x个页面，就存入一次数据库呢？

Question

以下是我的代码，功能是 请求一个网页，从网页提取出name，然后存入数据库，

我要请求的网页有10w，

我想实现，每抓50个页面。就自动存入数据库（也就是执行session.commit() ），

但是我完全不知道如何操作，

以前用request我还知道 增加一个变量，来控制循环次数，

但是换了 aiohttp我就摸不到头脑了，跪求大神指点一二

async def get(x):
    async with aiohttp.ClientSession() as session:
        url = f'https://httpbin.org/anything?name={x}'
        async with session.get(url) as resp:
            text1 = await resp.text()
            text1_json = json.loads(text1)
            return text1_json["args"]
            
async def main1(x):
    new_name = await get(x)  #请求网页，并提取出name

    # 存入数据
    user11 = User_table(name=new_name,  created=datetime.datetime.now())  # sqlalchemy的表
    session.add(user11)  # 数据存入缓存


pages = range(1, 100000)

tasks = [asyncio.ensure_future(main1(x)) for x in pages]

loop = asyncio.get_event_loop()

loop.run_until_complete(asyncio.wait(tasks))


session.commit()  # 提交到数据库

print ("work done !!!!")

Answer 1

每次提交50个task，完成后继续提交五十个。