如何将训练数据分成更小的批次来解决内存错误

Question

我有一个包含两个多维数组的训练数据 [prev_sentences, current_sentences]，当我使用简单的 model.fit 方法时，它给了我内存错误。我现在想使用 fit_generator，但我不知道如何将训练数据分成批次以输入 model.fit_generator。训练数据的形状为(111356,126,1024)和(111356,126,1024)，y_train形状为(111356,19)。这是简单拟合方法的代码行。

history=model.fit([previous_sentences, current_sentences], y_train,
                  epochs=15,batch_size=256,
                  shuffle = False, verbose = 1,
                  validation_split=0.2,
                  class_weight=custom_weight_dict,
                  callbacks=[early_stopping_cb])

我从未使用过 fit_generator 和数据生成器，所以我不知道如何拆分这些训练数据以使用 fit_generator。任何人都可以帮助我使用 fit_generator 创建批次吗？

Answer 1

您只需要拨打：model.fit_generator(generator, steps_per_epoch)其中steps_per_epoch是通常ceil(num_samples / batch_size)并且generator是一个 python 生成器，它迭代数据并批量生成数据。每次调用生成器都应该产生batch_size许多元素。生成器的示例：def generate_data(directory, batch_size):    """Replaces Keras' native ImageDataGenerator."""    i = 0    file_list = os.listdir(directory)    while True:        image_batch = []        for b in range(batch_size):            if i == len(file_list):                i = 0                random.shuffle(file_list)            sample = file_list[i]            i += 1            image = cv2.resize(cv2.imread(sample[0]), INPUT_SHAPE)            image_batch.append((image.astype(float) - 128) / 128)        yield np.array(image_batch)由于这绝对是特定于问题的，因此您必须编写自己的生成器，尽管使用此模板应该很简单。

Answer 2

这是将训练数据分割成小批量的数据生成器：def generate_data(X1,X2,Y,batch_size):  p_input=[]  c_input=[]  target=[]  batch_count=0  for i in range(len(X1)):    p_input.append(X1[i])    c_input.append(X2[i])    target.append(Y[i])    batch_count+=1    if batch_count>batch_size:      prev_X=np.array(p_input,dtype=np.int64)      cur_X=np.array(c_input,dtype=np.int64)      cur_y=np.array(target,dtype=np.int32)      print(len(prev_X),len(cur_X))      yield ([prev_X,cur_X],cur_y )       p_input=[]      c_input=[]      target=[]      batch_count=0  return这里是 fit_generator 函数调用而不是 model.fit 方法：batch_size=256epoch_steps=math.ceil(len(previous_sentences)/ batch_size)hist = model.fit_generator(generate_data(previous_sentences,current_sentences, y_train, batch_size),                steps_per_epoch=epoch_steps,                callbacks = [early_stopping_cb],                validation_data=generate_data(val_prev, val_curr,y_val,batch_size),                validation_steps=val_steps,  class_weight=custom_weight_dict,                 verbose=1)