如何优化大数据量的for计算？

Question

k = [...]

d = {}

for i in kws:

    d.setdefault(i,0)

    for j in kws:

        if i == j:

            continue

        if i in j:

            d[i] += 1

求解如何提供运算速度？

Answer 1

如果可能的话，优化算法，降低复杂度上jit， numba/pypy

Answer 2

@pykit.runTimedef parse():    p = {}    for k in kws:        for i in k.split():            p.setdefault(i,[]).append(k)    for k in kws:        r = [set(p[i]) for i in k.split()]        r = set.intersection(*r)        d[k] = len(r)-1kws = [...]d = {}d.fromkeys(kws,0)parse()研究了一下倒排，速度提高十倍以上