为什么variables1 + =variables2比variables1 =variables1 +variables2快得多?
我已经inheritance了一些Python代码,用于创build巨大的表(最多19列5000行)。 桌子在屏幕上画了九秒 。 我注意到每行都是使用这个代码添加的:
sTable = sTable + '\n' + GetRow()
其中sTable
是一个string。
我改变了:
sTable += '\n' + GetRow()
我注意到桌子现在出现在六秒钟内 。
然后我改变它:
sTable += '\n%s' % GetRow()
基于这些Python性能提示 (仍然是六秒钟)。
由于这被称为约5000次,它突出了性能问题。 但为什么会有这么大的差别呢? 为什么编译器没有在第一个版本中发现问题并对其进行优化?
这不是关于使用inplace +=
vs +
binary add。 你没有告诉我们整个故事。 您的原始版本连接了3个string,而不仅仅是两个:
sTable = sTable + '\n' + sRow # simplified, sRow is a function call
Python试图帮助并优化string连接; 在使用strobj += otherstrobj
和strobj = strobj + otherstringobj
,但是当涉及到2个以上的string时,它不能应用这个优化。
Pythonstring通常是不可改变的,但是如果没有其他引用到左边的string对象,并且正在被反弹,那么Python会欺骗和变异string 。 这样可以避免每次连接时都必须创build一个新的string,这可以大大提高速度。
这是在字节码评估循环中实现的。 在两个string上使用BINARY_ADD
时, BINARY_ADD
在两个string上使用INPLACE_ADD
时 ,Python都会将串联委托给一个特殊的辅助函数string_concatenate()
。 为了能够通过改变string来优化连接,首先需要确保string没有其他引用; 如果只有堆栈和原始variables引用它,那么这可以完成, 下一个操作将取代原来的variables引用。
因此,如果只有2个string引用,并且下一个运算符是STORE_FAST
(设置局部variables), STORE_DEREF
(设置由函数closures引用的variables)或STORE_NAME
(设置全局variables)之一,则受影响的variables当前引用的是相同的string,那么这个目标variables被清除,以减less引用的数目,只有1,堆栈。
这就是为什么你的原始代码不能完全使用这个优化。 expression式的第一部分是sTable + '\n'
, 下一个操作是另一个BINARY_ADD
:
>>> import dis >>> dis.dis(compile(r"sTable = sTable + '\n' + sRow", '<stdin>', 'exec')) 1 0 LOAD_NAME 0 (sTable) 3 LOAD_CONST 0 ('\n') 6 BINARY_ADD 7 LOAD_NAME 1 (sRow) 10 BINARY_ADD 11 STORE_NAME 0 (sTable) 14 LOAD_CONST 1 (None) 17 RETURN_VALUE
第一个BINARY_ADD
后面跟着一个LOAD_NAME
来访问sRow
variables,而不是存储操作。 第一个BINARY_ADD
必须总是产生一个新的string对象,随着sTable
增长而变大,并且需要越来越多的时间来创build这个新的string对象。
您将此代码更改为:
sTable += '\n%s' % sRow
这删除了第二个连接 。 现在字节码是:
>>> dis.dis(compile(r"sTable += '\n%s' % sRow", '<stdin>', 'exec')) 1 0 LOAD_NAME 0 (sTable) 3 LOAD_CONST 0 ('\n%s') 6 LOAD_NAME 1 (sRow) 9 BINARY_MODULO 10 INPLACE_ADD 11 STORE_NAME 0 (sTable) 14 LOAD_CONST 1 (None) 17 RETURN_VALUE
我们剩下的就是一个INPLACE_ADD
后面是一个商店。 现在sTable
可以在原地被改变,而不会导致一个更大的新string对象。
你会得到相同的速度差异:
sTable = sTable + ('\n%s' % sRow)
这里。
时间试验显示了不同之处:
>>> import random >>> from timeit import timeit >>> testlist = [''.join([chr(random.randint(48, 127)) for _ in range(random.randrange(10, 30))]) for _ in range(1000)] >>> def str_threevalue_concat(lst): ... res = '' ... for elem in lst: ... res = res + '\n' + elem ... >>> def str_twovalue_concat(lst): ... res = '' ... for elem in lst: ... res = res + ('\n%s' % elem) ... >>> timeit('f(l)', 'from __main__ import testlist as l, str_threevalue_concat as f', number=10000) 6.196403980255127 >>> timeit('f(l)', 'from __main__ import testlist as l, str_twovalue_concat as f', number=10000) 2.3599119186401367
这个故事的寓意是你不应该首先使用string连接。 从其他string的负载构build新string的正确方法是使用列表,然后使用str.join()
:
table_rows = [] for something in something_else: table_rows += ['\n', GetRow()] sTable = ''.join(table_rows)
这还是更快:
>>> def str_join_concat(lst): ... res = ''.join(['\n%s' % elem for elem in lst]) ... >>> timeit('f(l)', 'from __main__ import testlist as l, str_join_concat as f', number=10000) 1.7978830337524414
但是你不能使用'\n'.join(lst)
:
>>> timeit('f(l)', 'from __main__ import testlist as l, nl_join_concat as f', number=10000) 0.23735499382019043