Python之代码性能分析工具(时间+内存)

0 背景

在运行复杂的Python程序时,执行时间会很长,这时也许想提高程序的执行效率。但该怎么做呢?首先,要有个工具能够检测代码中的瓶颈,例如,找到哪一部分执行时间比较长。接着,就针对这一部分进行优化。同时,还需要控制内存和CPU的使用,这样可以在另一方面优化代码。本文主要介绍两种最常用的监控工具。

1. 时间分析

line_profiler模块可以给出执行每行代码所需占用的CPU时间,首先,安装该模块:

pip install line_profiler

如果pip安装不上,则需要下载源码安装 

git clone https://github.com/rkern/line_profiler.git
find line_profiler -name '*.pyx' -exec cython {} \;
cd line_profiler
pip install . --user

使用方法是导入相关模块,并定义一个装饰器,如下所示

import random 
from line_profiler import LineProfiler
from functools import wraps

#查询接口中每行代码执行的时间
def func_line_time(f):
    @wraps(f)
    def decorator(*args, **kwargs):
        func_return = f(*args, **kwargs)
        lp = LineProfiler()
        lp_wrap = lp(f)
        lp_wrap(*args, **kwargs) 
        lp.print_stats() 
        return func_return 
    return decorator 
 
@func_line_time
# 定义一个测试函数
def random_sort2(n):
    l = [random.random() for i in range(n)]
    l.sort()
    return l
 
if __name__ == "__main__":
    random_sort2(2000000)

输出如下所示,各参数含义为

  • Total Time:测试代码的总运行时间 
  • Line:代码行号
  • Hits:表示每行代码运行的次数  
  • Time:每行代码运行的总时间  
  • Per Hits:每行代码运行一次的时间  
  • % Time:每行代码运行时间的百分比

网上大多数方法是下边:

1.在需要测试的函数前添加装饰器  @profile

2.启动程序 $kernprof -l -v test.py

这种方法无法正常运行原来的脚本,如果不用kernprof指令运行脚本时,还需注释掉@profile语句,不太方便,因此建议使用这里推荐的装饰器的方法。

2. 内存分析

memory_profiler模块用来基于逐行测量代码的内存使用,安装方法如下:

pip install memory_profiler psutil

memory_profiler需要使用@profile装饰器来标识需要追踪的函数(即在函数前边加入@profile),就是上边一节后边提到的方法

# 前边内容省略

@profile
# 定义一个测试函数
def random_sort2(n):
    l = [random.random() for i in range(n)]
    l.sort()
    return l

# 后边内容省略

接着,输入:

$ python -m memory_profiler test.py

输出内存使用结果

从结果可以看出,内存使用是以MiB为单位衡量的,表示的mebibyte(1MiB = 1.05MB)。

相关推荐
©️2020 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页