优化对大量数据的搜索和插入操作

Question

我正在开发一个需要处理大量数据的程序，但我想先将该数据保存在本地存储结构中，然后再将其迁移到数据库。所以，我的问题是：保存该数据的最佳文件类型（或本地存储结构）是什么（这是结构化的，为此，我们假设它只是一个 id 和一个名称），以某种方式可以搜索和插入优化吗？

我的虽然是一个 CSV 文件，因为数据是结构化的，这可以保存相对大量的数据（在这种情况下，我需要大约 1000 到 100 000 行），但我不确定是否有更好的在那里。我的想法是按名称的字母顺序对数据进行排序，因此在最坏的情况下，搜索操作将花费 O(n)。至于插入操作，我正在努力寻找一个好的解决方案，以按字母顺序直接在文件中插入一行，因为我无法在两行之间插入一行，所以我必须在插入后覆盖整行我想要的那个。（我也考虑过将整个文件读入一个列表，然后再次写入，但如果文件太大，这不是最好的实现）。

那么，谁能给我一些关于要使用的最佳文件类型的想法，以及哪种方法最适合插入和搜索优化？非常感谢！

（这是我的插入算法，但它会产生随机行为）

def writingOpt(firstName, lastName, birthdate, country):

    try:

        file = open("players.csv", "r+", newline='')

    except FileNotFoundError:

        print("File players.csv not found")

    else:

        with file:

            reader = csv.reader(file)

            writer = csv.writer(file)

            name = firstName + ' ' + lastName

            inserted = False

            previousRow = []

            previousPosition = 0

            for row in reader:

                if name < row[0]:

                    file.seek(previousPosition)

                    if not inserted:

                        previousRow = [name, birthdate, country]

                        inserted = True

                    writer.writerow(previousRow)

                    previousRow = row

                previousPosition += len(','.join(row))