提高性能有如下方法

1、Cython,用于合并python和c语言静态编译泛型

2、IPython.parallel，用于在本地或者集群上并行执行代码

3、numexpr，用于快速数值运算

4、multiprocessing,python内建的并行处理模块

5、Numba，用于为cpu动态编译python代码

6、NumbaPro，用于为多核cpu和gpu动态编译python代码

为了验证相同算法在上面不同实现上的的性能差异，我们先定义一个测试性能的函数

def perf_comp_data(func_list, data_list, rep=3, number=1): 
  '''Function to compare the performance of different functions. 
  Parameters 
  func_list : list 
  list with function names as strings

  data_list : list 
  list with data set names as strings 

  rep : int 
  number of repetitions of the whole comparison 
  number : int 
  number ofexecutions for every function 
  '''
  from timeit import repeat 
  res_list = {} 
  for name in enumerate(func_list): 
    stmt = name[1] + '(' + data_list[name[0]] + ')' 
    setup = "from __main__ import " + name[1] + ','+ data_list[name[0]] 
    results = repeat(stmt=stmt, setup=setup, repeat=rep, number=number) 
    res_list[name[1]] = sum(results) / rep
  res_sort = sorted(res_list.items(), key = lambda item : item[1])
  for item in res_sort: 
    rel = item[1] / res_sort[0][1]
    print ('function: ' + item[0] + ', av. time sec: %9.5f,  ' % item[1] + 'relative: %6.1f' % rel)

定义执行的算法如下

from math import * 
def f(x): 
  return abs(cos(x)) ** 0.5 + sin(2 + 3 * x)

对应的数学公式是

生成数据如下

i=500000
a_py = range(i)

第一个实现f1是在内部循环执行f函数，然后将每次的计算结果添加到列表中，实现如下

def f1(a): 
  res = [] 
  for x in a: 
    res.append(f(x)) 
  return res

当然实现这种方案的方法不止一种，可以使用迭代器或eval函数,我自己加入了使用生成器和map方法的测试，发现结果有明显差距，不知道是否科学：

迭代器实现

def f2(a): 
  return [f(x) for x in a]

eval实现

def f3(a): 
  ex = 'abs(cos(x)) **0.5+ sin(2 + 3 * x)' 
  return [eval(ex) for x in a] 

生成器实现

def f7(a): 
  return (f(x) for x in a)

map实现

def f8(a): 
  return map(f, a)

接下来是使用numpy的narray结构的几种实现

import numpy as np 
a_np = np.arange(i) 

def f4(a): 
  return (np.abs(np.cos(a)) ** 0.5 + np.sin(2 + 3 * a))

import numexpr as ne

def f5(a): 
  ex = 'abs(cos(a)) ** 0.5 + sin( 2 + 3 * a)' 
  ne.set_num_threads(1) 
  return ne.evaluate(ex)

def f6(a): 
  ex = 'abs(cos(a)) ** 0.5 + sin(2 + 3 * a)' 
  ne.set_num_threads(2) 
  return ne.evaluate(ex)

上面的f5和f6只是使用的处理器个数不同，可以根据自己电脑cpu的数目进行修改，也不是越大越好

下面进行测试

func_list = ['f1', 'f2', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8'] 
data_list = ['a_py', 'a_py', 'a_py', 'a_np', 'a_np', 'a_np', 'a_py', 'a_py']
perf_comp_data(func_list, data_list)

测试结果如下

function: f8, av. time sec:  0.00000,  relative:  1.0
function: f7, av. time sec:  0.00001,  relative:  1.7
function: f6, av. time sec:  0.03787,  relative: 11982.7
function: f5, av. time sec:  0.05838,  relative: 18472.4
function: f4, av. time sec:  0.09711,  relative: 30726.8
function: f2, av. time sec:  0.82343,  relative: 260537.0
function: f1, av. time sec:  0.92557,  relative: 292855.2
function: f3, av. time sec: 32.80889,  relative: 10380938.6

发现f8的时间最短，调大一下时间精度再测一次

function: f8, av. time sec: 0.000002483,  relative:  1.0
function: f7, av. time sec: 0.000004741,  relative:  1.9
function: f5, av. time sec: 0.028068110,  relative: 11303.0
function: f6, av. time sec: 0.031389788,  relative: 12640.6
function: f4, av. time sec: 0.053619114,  relative: 21592.4
function: f1, av. time sec: 0.852619225,  relative: 343348.7
function: f2, av. time sec: 1.009691877,  relative: 406601.7
function: f3, av. time sec: 26.035869787,  relative: 10484613.6

发现使用map的性能最高，生成器次之，其他方法的性能就差的很远了。但是使用narray数据的在一个数量级，使用python的list数据又在一个数量级。生成器的原理是并没有生成一个完整的列表，而是在内部维护一个next函数，通过一边循环迭代一遍生成下个元素的方法的实现的，所以他既不用在执行时遍历整个循环，也不用分配整个空间，它花费的时间和空间跟列表的大小是没有关系的，map与之类似，而其他实现都是跟列表大小有关系的。

内存布局

numpy的ndarray构造函数形式为

np.zeros(shape, dtype=float, order='C')

np.array(object, dtype=None, copy=True, order=None, subok=False, ndmin=0)

shape或object定义了数组的大小或是引用了另一个一个数组

dtype用于定于元素的数据类型，可以是int8，int32，float8，float64等等

order定义了元素在内存中的存储顺序，c表示行优先，F表示列优先

下面来比较一下内存布局在数组很大时的差异，先构造同样的的基于C和基于F的数组，代码如下：

x = np.random.standard_normal(( 3, 1500000))
c = np.array(x, order='C') 
f = np.array(x, order='F') 

下面来测试性能

%timeit c.sum(axis=0)
%timeit c.std(axis=0)
%timeit f.sum(axis=0)
%timeit f.std(axis=0)
%timeit c.sum(axis=1)
%timeit c.std(axis=1)
%timeit f.sum(axis=1)
%timeit f.std(axis=1)

输出如下

loops, best of 3: 12.1 ms per loop
loops, best of 3: 83.3 ms per loop
loops, best of 3: 70.2 ms per loop
loop, best of 3: 235 ms per loop
loops, best of 3: 7.11 ms per loop
loops, best of 3: 37.2 ms per loop
loops, best of 3: 54.7 ms per loop
loops, best of 3: 193 ms per loop

可知，C内存布局要优于F内存布局

并行计算

未完，待续。。。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持！

# python  # 性能  # 性能优化  # 性能测试  # Python性能优化技巧  # 如何使用Python标准库进行性能测试  # 如何测试Python网站的访问速度  # 并且优化Python网站的性能  # 多核  # 迭代  # 在一  # 都是  # 是在  # 第一个  # 遍历  # 一遍  # 几种  # 可以使用  # 越好  # 与之  # 在上面  # 越大  # 很远  # 可以根据  # 用在  # 最短  # 内建  # 既不 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 大同网页,大同瑞慈医院官网？  Laravel路由Route怎么设置_Laravel基础路由定义与参数传递规则【详解】  Laravel如何配置和使用缓存？（Redis代码示例）  如何在万网ECS上快速搭建专属网站？  西安专业网站制作公司有哪些,陕西省建行官方网站？  *服务器网站为何频现安全漏洞？  网站制作价目表怎么做,珍爱网婚介费用多少？  如何获取PHP WAP自助建站系统源码？  Bootstrap整体框架之CSS12栅格系统  阿里云网站搭建费用解析：服务器价格与建站成本优化指南  Laravel的.env文件有什么用_Laravel环境变量配置与管理详解  如何用y主机助手快速搭建网站？  非常酷的网站设计制作软件,酷培ai教育官方网站？  Java Adapter 适配器模式（类适配器，对象适配器）优缺点对比  如何在 Telegram Web View（iOS）中防止键盘遮挡底部输入框  Laravel策略(Policy)如何控制权限_Laravel Gates与Policies实现用户授权  Win11搜索不到蓝牙耳机怎么办 Win11蓝牙驱动更新修复【详解】  Laravel API资源类怎么用_Laravel API Resource数据转换  Laravel观察者模式如何使用_Laravel Model Observer配置  b2c电商网站制作流程,b2c水平综合的电商平台？  如何在IIS管理器中快速创建并配置网站？  Laravel怎么调用外部API_Laravel Http Client客户端使用  企业网站制作这些问题要关注  企业在线网站设计制作流程,想建设一个属于自己的企业网站，该如何去做？  网站制作壁纸教程视频,电脑壁纸网站？  Laravel项目如何进行性能优化_Laravel应用性能分析与优化技巧大全  如何在宝塔面板中创建新站点？  Laravel Eloquent访问器与修改器是什么_Laravel Accessors & Mutators数据处理技巧  如何为不同团队 ID 动态生成多个非值班状态按钮  详解免费开源的.NET多类型文件解压缩组件SharpZipLib（.NET组件介绍之七）  如何确保FTP站点访问权限与数据传输安全？  香港服务器WordPress建站指南：SEO优化与高效部署策略  Laravel如何实现用户注册和登录？（Auth脚手架指南）  Laravel如何实现多对多模型关联？（Eloquent教程）  Win11关机界面怎么改_Win11自定义关机画面设置【工具】  北京企业网站设计制作公司,北京铁路集团官方网站？  如何用IIS7快速搭建并优化网站站点？  如何获取免费开源的自助建站系统源码？  PHP 实现电台节目表的智能时间匹配与今日/明日轮播逻辑  JavaScript中如何操作剪贴板_ClipboardAPI怎么用  如何在自有机房高效搭建专业网站？  高防服务器如何保障网站安全无虞？  如何快速使用云服务器搭建个人网站？  再谈Python中的字符串与字符编码（推荐）  Laravel如何与Pusher实现实时通信？（WebSocket示例）  laravel怎么配置Redis作为缓存驱动_laravel Redis缓存配置教程  打开php文件提示内存不足_怎么调整php内存限制【解决方案】  Laravel怎么使用artisan命令缓存配置和视图  googleplay官方入口在哪里_Google Play官方商店快速入口指南  BootStrap整体框架之基础布局组件