关于面试题，如何快速找出文件(大文件无法一次性读取)中的重复项？

Question

百度面试题，大致意思是说，有个文件，文件很大不能一次性读取（可能是不能一次性加载到内存中），文件中存放的是IP地址，如何快速找出重复的IP地址？求指点思路。

文件很大，可以逐行读取，append到list中，取set，再取差集，不知是否可行？