如何针对大型数据集优化比较性能？

Question

我有一个非常慢的方法，我不确定如何优化此方法。我也不太了解LINQ的工作原理，因此，如果解决方案是使用LINQ，请解释一下。非常感谢。

该dtExcel方法的参数中的DataTable包含第一部分数据，另一部分_dt来自数据库。通过两个for循环运行的数据大约如下：700（dtExcel）* 10,000（_dt）= 7,000,000个比较。

这里的代码：

public async Task<DataTable> GetAdressesFromDB(DataTable dtExcel)

{

    try

    {

        return await Task.Run(() =>

        {

            CurrentProgress = 0;

            ProgressbarDBVisible = true;

            _dtFoundDuplicates.Clear();

            _dt = new DataTable();

            _dt = DBConn.GetAllAddresses(dtExcel);

            ProgressMaximum = dtExcel.Rows.Count;

            for (int i = 0; i < dtExcel.Rows.Count; i++)

            {

                CurrentProgress++;

                for (int y = 0; y < _dt.Rows.Count; y++)

                {

                    // Criteria to check duplicates

                    string compareAdressExcel = "";

                    string compareAdressDB = "";

                    // Get the setted filter criteria and create both excel and db compare strings

                    string[] criteriaFields = ConfigurationManager.AppSettings["strFilter"].Split(',');

                    foreach (String cField in criteriaFields)

Answer 1

如果这是sql server，则应该使用ssis。它具有模糊匹配，这对于匹配来自两个不同来源的地址上的记录几乎是必须的。我也将使用ssis将数据导入到表中，并对管道中的数据进行任何预处理。然后可以使用作业来运行整个过程。