雪花在 Python 中获取多个

Question

我正在尝试使用 python 中的雪花包创建一个熊猫数据框。

我运行一些查询

sf_cur = get_sf_connector()

sf_cur.execute("USE WAREHOUSE Warehouse;")

sf_cur.execute("""select Query"""

)

print('done')

输出大约为 21k 行。然后使用

df = pd.DataFrame(sf_cur.fetchall())

即使只有 100 行的限制样本，也需要永远。有没有办法优化这一点，理想情况下，更大的查询将在循环中运行，因此处理更大的数据集将是理想的。

Answer 1

由于将fetchall()所有结果复制到内存中，您应该尝试直接遍历游标对象并将其映射到 for 块内的数据框cursor.execute(query)    for row in cursor:    #build the data frame其他示例，只是为了显示：query = "Select ID from Users"cursor.execute(query)for row in cursor:    list_ids.append(row["ID"])