python 的 decorator在使用上和java/c#的annotation很相似，就是在方法名前面加一个@xxx注解来为这个方法装饰一些东西。但是，java/c#的annotation也很让人望而却步，太tmd的复杂了，你要玩它，你需要了解一堆annotation的类库文档，让人感觉就是在学另外一门语言。
而python使用了一种相对于decorator pattern和annotation来说非常优雅的方法，这种方法不需要你去掌握什么复杂的oo模型或是annotation的各种类库规定，完全就是语言层面的玩法：一种函数式编程的技巧。如果你看过本站的《函数式编程》，你一定会为函数式编程的那种“描述你想干什么，而不是描述你要怎么去实现”的编程方式感到畅快。（如果你不了解函数式编程，那在读本文之前，还请你移步去看看《函数式编程》） 好了，我们先来点感性认识，看一个python修饰器的hello world的代码。
hello world
下面是代码：
文件名：hello.py
代码如下:
def hello(fn):
def wrapper():
print hello, %s % fn.__name__
fn()
print goodby, %s % fn.__name__
return wrapper
@hello
def foo():
print i am foo
foo()
当你运行代码，你会看到如下输出：
代码如下:
[chenaho@chenhao-air]$ python hello.py
hello, foo
i am foo
goodby, foo
你可以看到如下的东西：
1）函数foo前面有个@hello的“注解”，hello就是我们前面定义的函数hello
2）在hello函数中，其需要一个fn的参数（这就用来做回调的函数）
3）hello函数中返回了一个inner函数wrapper，这个wrapper函数回调了传进来的fn，并在回调前后加了两条语句。
decorator 的本质
对于python的这个@注解语法糖- syntactic sugar 来说，当你在用某个@decorator来修饰某个函数func时，如下所示:
代码如下:
@decorator
def func():
pass
其解释器会解释成下面这样的语句：
代码如下:
func = decorator(func)
尼玛，这不就是把一个函数当参数传到另一个函数中，然后再回调吗？是的，但是，我们需要注意，那里还有一个赋值语句，把decorator这个函数的返回值赋值回了原来的func。 根据《函数式编程》中的first class functions中的定义的，你可以把函数当成变量来使用，所以，decorator必需得返回了一个函数出来给func，这就是所谓的higher order function 高阶函数，不然，后面当func()调用的时候就会出错。 就我们上面那个hello.py里的例子来说，
代码如下:
@hello
def foo():
print i am foo
被解释成了：
代码如下:
foo = hello(foo)
是的，这是一条语句，而且还被执行了。你如果不信的话，你可以写这样的程序来试试看：
代码如下:
def fuck(fn):
print fuck %s! % fn.__name__[::-1].upper()
@fuck
def wfg():
pass
没了，就上面这段代码，没有调用wfg()的语句，你会发现， fuck函数被调用了，而且还很nb地输出了我们每个人的心声！
再回到我们hello.py的那个例子，我们可以看到，hello(foo)返回了wrapper()函数，所以，foo其实变成了wrapper的一个变量，而后面的foo()执行其实变成了wrapper()。
知道这点本质，当你看到有多个decorator或是带参数的decorator，你也就不会害怕了。
比如：多个decorator
代码如下:
@decorator_one
@decorator_two
def func():
pass
相当于：
代码如下:
func = decorator_one(decorator_two(func))
比如：带参数的decorator：
代码如下:
@decorator(arg1, arg2)
def func():
pass
相当于：
代码如下:
func = decorator(arg1,arg2)(func)
这意味着decorator(arg1, arg2)这个函数需要返回一个“真正的decorator”。
带参数及多个decrorator
我们来看一个有点意义的例子：
html.py
代码如下:
def makehtmltag(tag, *args, **kwds):
def real_decorator(fn):
css_class = class='{0}'.format(kwds[css_class]) \
if css_class in kwds else
def wrapped(*args, **kwds):
return + fn(*args, **kwds) + +tag+>
return wrapped
return real_decorator
@makehtmltag(tag=b, css_class=bold_css)
@makehtmltag(tag=i, css_class=italic_css)
def hello():
return hello world
print hello()
# 输出：
# hello world
在上面这个例子中，我们可以看到：makehtmltag有两个参数。所以，为了让 hello = makehtmltag(arg1, arg2)(hello) 成功，makehtmltag 必需返回一个decorator（这就是为什么我们在makehtmltag中加入了real_decorator()的原因），这样一来，我们就可以进入到 decorator 的逻辑中去了—— decorator得返回一个wrapper，wrapper里回调hello。看似那个makehtmltag() 写得层层叠叠，但是，已经了解了本质的我们觉得写得很自然。
你看，python的decorator就是这么简单，没有什么复杂的东西，你也不需要了解过多的东西，使用起来就是那么自然、体贴、干爽、透气，独有的速效凹道和完美的吸收轨迹，让你再也不用为每个月的那几天感到焦虑和不安，再加上贴心的护翼设计，量多也不用当心。对不起，我调皮了。
什么，你觉得上面那个带参数的decorator的函数嵌套太多了，你受不了。好吧，没事，我们看看下面的方法。
class式的 decorator
首先，先得说一下，decorator的class方式，还是看个示例：
代码如下:
class mydecorator(object):
def __init__(self, fn):
print inside mydecorator.__init__()
self.fn = fn
def __call__(self):
self.fn()
print inside mydecorator.__call__()
@mydecorator
def afunction():
print inside afunction()
print finished decorating afunction()
afunction()
# 输出：
# inside mydecorator.__init__()
# finished decorating afunction()
# inside afunction()
# inside mydecorator.__call__()
上面这个示例展示了，用类的方式声明一个decorator。我们可以看到这个类中有两个成员：
1）一个是__init__()，这个方法是在我们给某个函数decorator时被调用，所以，需要有一个fn的参数，也就是被decorator的函数。
2）一个是__call__()，这个方法是在我们调用被decorator函数时被调用的。
上面输出可以看到整个程序的执行顺序。
这看上去要比“函数式”的方式更易读一些。
下面，我们来看看用类的方式来重写上面的html.py的代码：
html.py
代码如下:
class makehtmltagclass(object):
def __init__(self, tag, css_class=):
self._tag = tag
self._css_class = class='{0}'.format(css_class) \
if css_class != else
def __call__(self, fn):
def wrapped(*args, **kwargs):
return \
+ fn(*args, **kwargs) + + self._tag + >
return wrapped
@makehtmltagclass(tag=b, css_class=bold_css)
@makehtmltagclass(tag=i, css_class=italic_css)
def hello(name):
return hello, {}.format(name)
print hello(hao chen)
上面这段代码中，我们需要注意这几点：
1）如果decorator有参数的话，__init__() 成员就不能传入fn了，而fn是在__call__的时候传入的。
2）这段代码还展示了 wrapped(*args, **kwargs) 这种方式来传递被decorator函数的参数。（其中：args是一个参数列表，kwargs是参数dict，具体的细节，请参考python的文档或是stackoverflow的这个问题，这里就不展开了）
用decorator设置函数的调用参数
你有三种方法可以干这个事：
第一种，通过 **kwargs，这种方法decorator会在kwargs中注入参数。
代码如下:
def decorate_a(function):
def wrap_function(*args, **kwargs):
kwargs['str'] = 'hello!'
return function(*args, **kwargs)
return wrap_function
@decorate_a
def print_message_a(*args, **kwargs):
print(kwargs['str'])
print_message_a()
第二种，约定好参数，直接修改参数
代码如下:
def decorate_b(function):
def wrap_function(*args, **kwargs):
str = 'hello!'
return function(str, *args, **kwargs)
return wrap_function
@decorate_b
def print_message_b(str, *args, **kwargs):
print(str)
print_message_b()
第三种，通过 *args 注入
代码如下:
def decorate_c(function):
def wrap_function(*args, **kwargs):
str = 'hello!'
#args.insert(1, str)
args = args +(str,)
return function(*args, **kwargs)
return wrap_function
class printer:
@decorate_c
def print_message(self, str, *args, **kwargs):
print(str)
p = printer()
p.print_message()
decorator的副作用
到这里，我相信你应该了解了整个python的decorator的原理了。
相信你也会发现，被decorator的函数其实已经是另外一个函数了，对于最前面那个hello.py的例子来说，如果你查询一下foo.__name__的话，你会发现其输出的是“wrapper”，而不是我们期望的“foo”，这会给我们的程序埋一些坑。所以，python的functool包中提供了一个叫wrap的decorator来消除这样的副作用。下面是我们新版本的hello.py。
文件名：hello.py
代码如下:
from functools import wraps
def hello(fn):
@wraps(fn)
def wrapper():
print hello, %s % fn.__name__
fn()
print goodby, %s % fn.__name__
return wrapper
@hello
def foo():
'''foo help doc'''
print i am foo
pass
foo()
print foo.__name__ #输出 foo
print foo.__doc__ #输出 foo help doc
当然，即使是你用了functools的wraps，也不能完全消除这样的副作用。
来看下面这个示例：
代码如下:
from inspect import getmembers, getargspec
from functools import wraps
def wraps_decorator(f):
@wraps(f)
def wraps_wrapper(*args, **kwargs):
return f(*args, **kwargs)
return wraps_wrapper
class someclass(object):
@wraps_decorator
def method(self, x, y):
pass
obj = someclass()
for name, func in getmembers(obj, predicate=inspect.ismethod):
print member name: %s % name
print func name: %s % func.func_name
print args: %s % getargspec(func)[0]
# 输出：
# member name: method
# func name: method
# args: []
你会发现，即使是你你用了functools的wraps，你在用getargspec时，参数也不见了。
要修正这一问，我们还得用python的反射来解决，下面是相关的代码：
代码如下:
def get_true_argspec(method):
argspec = inspect.getargspec(method)
args = argspec[0]
if args and args[0] == 'self':
return argspec
if hasattr(method, '__func__'):
method = method.__func__
if not hasattr(method, 'func_closure') or method.func_closure is none:
raise exception(no closure for method.)
method = method.func_closure[0].cell_contents
return get_true_argspec(method)
当然，我相信大多数人的程序都不会去getargspec。所以，用functools的wraps应该够用了。
一些decorator的示例
好了，现在我们来看一下各种decorator的例子：
给函数调用做缓存
这个例实在是太经典了，整个网上都用这个例子做decorator的经典范例，因为太经典了，所以，我这篇文章也不能免俗。
代码如下:
from functools import wraps
def memo(fn):
cache = {}
miss = object()
@wraps(fn)
def wrapper(*args):
result = cache.get(args, miss)
if result is miss:
result = fn(*args)
cache[args] = result
return result
return wrapper
@memo
def fib(n):
if n return n
return fib(n - 1) + fib(n - 2)
上面这个例子中，是一个斐波拉契数例的递归算法。我们知道，这个递归是相当没有效率的，因为会重复调用。比如：我们要计算fib(5)，于是其分解成fib(4) + fib(3)，而fib(4)分解成fib(3)+fib(2)，fib(3)又分解成fib(2)+fib(1)…… 你可看到，基本上来说，fib(3), fib(2), fib(1)在整个递归过程中被调用了两次。
而我们用decorator，在调用函数前查询一下缓存，如果没有才调用了，有了就从缓存中返回值。一下子，这个递归从二叉树式的递归成了线性的递归。
profiler的例子
这个例子没什么高深的，就是实用一些。
代码如下:
import cprofile, pstats, stringio
def profiler(func):
def wrapper(*args, **kwargs):
datafn = func.__name__ + .profile # name the data file
prof = cprofile.profile()
retval = prof.runcall(func, *args, **kwargs)
#prof.dump_stats(datafn)
s = stringio.stringio()
sortby = 'cumulative'
ps = pstats.stats(prof, stream=s).sort_stats(sortby)
ps.print_stats()
print s.getvalue()
return retval
return wrapper
注册回调函数
下面这个示例展示了通过url的路由来调用相关注册的函数示例：
代码如下:
class myapp():
def __init__(self):
self.func_map = {}
def register(self, name):
def func_wrapper(func):
self.func_map[name] = func
return func
return func_wrapper
def call_method(self, name=none):
func = self.func_map.get(name, none)
if func is none:
raise exception(no function registered against - + str(name))
return func()
app = myapp()
@app.register('/')
def main_page_func():
return this is the main page.
@app.register('/next_page')
def next_page_func():
return this is the next page.
print app.call_method('/')
print app.call_method('/next_page')
注意：
1）上面这个示例中，用类的实例来做decorator。
2）decorator类中没有__call__()，但是wrapper返回了原函数。所以，原函数没有发生任何变化。
给函数打日志
下面这个示例演示了一个logger的decorator，这个decorator输出了函数名，参数，返回值，和运行时间。
代码如下:
from functools import wraps
def logger(fn):
@wraps(fn)
def wrapper(*args, **kwargs):
ts = time.time()
result = fn(*args, **kwargs)
te = time.time()
print function = {0}.format(fn.__name__)
print arguments = {0} {1}.format(args, kwargs)
print return = {0}.format(result)
print time = %.6f sec % (te-ts)
return result
return wrapper
@logger
def multipy(x, y):
return x * y
@logger
def sum_num(n):
s = 0
for i in xrange(n+1):
s += i
return s
print multipy(2, 10)
print sum_num(100)
print sum_num(10000000)
上面那个打日志还是有点粗糙，让我们看一个更好一点的（带log level参数的）：
代码如下:
import inspect
def get_line_number():
return inspect.currentframe().f_back.f_back.f_lineno
def logger(loglevel):
def log_decorator(fn):
@wraps(fn)
def wrapper(*args, **kwargs):
ts = time.time()
result = fn(*args, **kwargs)
te = time.time()
print function = + fn.__name__,
print arguments = {0} {1}.format(args, kwargs)
print return = {0}.format(result)
print time = %.6f sec % (te-ts)
if (loglevel == 'debug'):
print called_from_line : + str(get_line_number())
return result
return wrapper
return log_decorator
但是，上面这个带log level参数的有两具不好的地方，
1） loglevel不是debug的时候，还是要计算函数调用的时间。
2） 不同level的要写在一起，不易读。
我们再接着改进：
代码如下:
import inspect
def advance_logger(loglevel):
def get_line_number():
return inspect.currentframe().f_back.f_back.f_lineno
def _basic_log(fn, result, *args, **kwargs):
print function = + fn.__name__,
print arguments = {0} {1}.format(args, kwargs)
print return = {0}.format(result)
def info_log_decorator(fn):
@wraps(fn)
def wrapper(*args, **kwargs):
result = fn(*args, **kwargs)
_basic_log(fn, result, args, kwargs)
return wrapper
def debug_log_decorator(fn):
@wraps(fn)
def wrapper(*args, **kwargs):
ts = time.time()
result = fn(*args, **kwargs)
te = time.time()
_basic_log(fn, result, args, kwargs)
print time = %.6f sec % (te-ts)
print called_from_line : + str(get_line_number())
return wrapper
if loglevel is debug:
return debug_log_decorator
else:
return info_log_decorator
你可以看到两点，
1）我们分了两个log level，一个是info的，一个是debug的，然后我们在外尾根据不同的参数返回不同的decorator。
2）我们把info和debug中的相同的代码抽到了一个叫_basic_log的函数里，dry原则。
一个mysql的decorator
下面这个decorator是我在工作中用到的代码，我简化了一下，把db连接池的代码去掉了，这样能简单点，方便阅读。
代码如下:
import umysql
from functools import wraps
class configuraion:
def __init__(self, env):
if env == prod:
self.host = coolshell.cn
self.port = 3306
self.db = coolshell
self.user = coolshell
self.passwd = fuckgfw
elif env == test:
self.host = 'localhost'
self.port = 3300
self.user = 'coolshell'
self.db = 'coolshell'
self.passwd = 'fuckgfw'
def mysql(sql):
_conf = configuraion(env=prod)
def on_sql_error(err):
print err
sys.exit(-1)
def handle_sql_result(rs):
if rs.rows > 0:
fieldnames = [f[0] for f in rs.fields]
return [dict(zip(fieldnames, r)) for r in rs.rows]
else:
return []
def decorator(fn):
@wraps(fn)
def wrapper(*args, **kwargs):
mysqlconn = umysql.connection()
mysqlconn.settimeout(5)
mysqlconn.connect(_conf.host, _conf.port, _conf.user, \
_conf.passwd, _conf.db, true, 'utf8')
try:
rs = mysqlconn.query(sql, {})
except umysql.error as e:
on_sql_error(e)
data = handle_sql_result(rs)
kwargs[data] = data
result = fn(*args, **kwargs)
mysqlconn.close()
return result
return wrapper
return decorator
@mysql(sql = select * from coolshell )
def get_coolshell(data):
... ...
... ..
线程异步
下面量个非常简单的异步执行的decorator，注意，异步处理并不简单，下面只是一个示例。
代码如下:
from threading import thread
from functools import wraps
def async(func):
@wraps(func)
def async_func(*args, **kwargs):
func_hl = thread(target = func, args = args, kwargs = kwargs)
func_hl.start()
return func_hl
return async_func
if __name__ == '__main__':
from time import sleep
@async
def print_somedata():
print 'starting print_somedata'
sleep(2)
print 'print_somedata: 2 sec passed'
sleep(2)
print 'print_somedata: 2 sec passed'
sleep(2)
print 'finished print_somedata'
def main():
print_somedata()
print 'back in main'
print_somedata()
print 'back in main'
main()
虽然本文很长，但是都是非常实用，非常基础的知识，希望小伙伴们可以耐心开完。