GCE 如何在谷歌 TPU 中使用 ImageDataGenerator

Question

我有一个 Keras 模型，但它对于我的本地 PC 来说太大了，我正在尝试迁移到 Google 云以便能够使用 TPU。

我看到的示例在内存图像中使用拟合函数训练模型。

我有数以千计的图像，而且我想使用图像增强。在我的本地模型中，我使用ImageDataGenerator和fit_generator。

我如何使用 TPU 做到这一点？

我有几个想法，

1. 在虚拟机中挂载存储桶

2. 将镜像复制到虚拟机的磁盘上，ImageDataGenerator像在本地机器上一样使用。

但我不确定，我觉得所有这些方法都是低效的。

有没有办法有效地做到这一点？

Answer 1

如果您正在寻找读取速度，GCP 确实提供SSD 的，这将是您的机器读取图像的最快方式。本地 SSD 确实有 3TB 的限制，因此您可能需要根据映像数量将多个附加到您的 VM。如果您想降低成本，安装带有 FuseFS的Bucket是可行的方法，但它是最慢的选择，因为与源的潜在距离最大。Google 有一篇很棒的文章，解释了您拥有的不同存储选项。这篇文章还有一些表格，列出了不同的成本和速度，以及关于每个选项提供的其他重要技术细节。