哪个Python内存分析器被推荐?
我想知道我的Python应用程序的内存使用情况,特别想知道哪些代码块/部分或对象消耗了大部分内存。 谷歌search显示,商业版本是Python Memory Validator (仅限Windows)。
而开源的是PySizer和Heapy 。
我没有尝试任何人,所以我想知道哪一个是最好的考虑:
-
给大部分细节。
-
我必须对我的代码做最less的改动。
Heapy使用起来相当简单。 在您的代码中的某个时刻,您必须编写以下内容:
from guppy import hpy h = hpy() print h.heap()
这给你一些这样的输出:
Partition of a set of 132527 objects. Total size = 8301532 bytes. Index Count % Size % Cumulative % Kind (class / dict of class) 0 35144 27 2140412 26 2140412 26 str 1 38397 29 1309020 16 3449432 42 tuple 2 530 0 739856 9 4189288 50 dict (no owner)
你也可以从哪里find对象,并获得有关的统计信息,但不知何故文档有点稀疏。
还有一个graphics浏览器,用Tk编写。
由于没有人提到它,我将指向我的模块memory_profiler ,它能够逐行打印内存使用情况报告,并在Unix和Windows上工作(需要最后一个psutil)。 输出不是很详细,但是目标是给你一个代码消耗更多内存的概述,而不是对分配的对象进行详尽的分析。
在使用@profile
装饰你的函数并使用-m memory_profiler
标志运行你的代码之后,它将打印一行一行的报告,如下所示:
Line # Mem usage Increment Line Contents ============================================== 3 @profile 4 5.97 MB 0.00 MB def my_func(): 5 13.61 MB 7.64 MB a = [1] * (10 ** 6) 6 166.20 MB 152.59 MB b = [2] * (2 * 10 ** 7) 7 13.61 MB -152.59 MB del b 8 13.61 MB 0.00 MB return a
我build议Dowser 。 这是非常容易设置的,你需要零代码的变化。 您可以通过简单的Web界面查看每种types对象的计数,查看活动对象列表,查看对活动对象的引用。
# memdebug.py import cherrypy import dowser def start(port): cherrypy.tree.mount(dowser.Root()) cherrypy.config.update({ 'environment': 'embedded', 'server.socket_port': port }) cherrypy.server.quickstart() cherrypy.engine.start(blocking=False)
您导入memdebug,并调用memdebug.start。 就这样。
我还没有试过PySizer或Heapy。 我会感激别人的评论。
UPDATE
上面的代码是CherryPy 2.X
, CherryPy 3.X
server.quickstart
方法已被删除, engine.start
不采取blocking
标志。 所以,如果你使用CherryPy 3.X
# memdebug.py import cherrypy import dowser def start(port): cherrypy.tree.mount(dowser.Root()) cherrypy.config.update({ 'environment': 'embedded', 'server.socket_port': port }) cherrypy.engine.start()
考虑一下objgraph库(有关示例用例,请参阅http://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks )。
Muppy是(又一个)Python的内存使用情况分析器。 这个工具集的重点在于识别内存泄漏。
Muppy试图帮助开发人员识别Python应用程序的内存泄漏。 它可以在运行时跟踪内存的使用情况,并识别泄漏的对象。 此外,还提供了一些工具,可以find未发布对象的来源。
我发现meliae比Heapy或PySizerfunction更强大。 如果你碰巧正在运行一个wsgi web应用程序,那么Dozer就是一个很好的Dowser中间件包装器
我正在开发一个名为memprof的Python内存分析器:
http://jmdana.github.io/memprof/
它允许您在装饰方法的执行过程中logging和绘制variables的内存使用情况。 您只需使用以下命令导入库:
from memprof import memprof
并装饰你的方法使用:
@memprof
这是情节如何的一个例子:
该项目在GitHub:
试试pytracemalloc项目 ,它提供了每个Python行号的内存使用情况。
编辑(2014/04):现在有一个Qt GUI来分析快照。