Python变量覆盖陷阱

2014-11-24 10:31:27 · 作者: · 浏览: 0

已经好几次碰到这样的错误了,每次碰到都花费我大量的时间,下面总结下我所犯的错误,希望对大家也有帮助。


闭包


我想抓取一系列的网页,抓取网页很慢,然后对网页内容进行处理,为了提高速度,我启动了多个线程去抓。以下是其代码:


代码很简单,对每个url都启动一个线程,线程启动时运行_fetch函数,_fetch函数是个闭包,因为它引用了循环变量url,我使用time.sleep()来模拟抓取网页的过程。我们期望url在每个_fetch函数内有不同值,且在函数内保持不变,但实际上不是,上述程序输出如下结果:


注意到process content全部输出的都是baidu。为什么会有这个结果?这是因为实际上每个_fetch引用的是同一个变量,随着循环的进行,url的值在不断的变化。线程刚启动时url值还没来得及改变,但是抓取网页完成后,循环已经结束了,url保持为最后一次循环的值,即http://www.linuxidc.net。怎么解决这个问题呢?在_fetch函数内部先将url赋给一个局部变量的方式是有问题的:


虽然它的输出结果在我的机器上是正确的,但却有可能在其它机器上失败,这是因为线程的启动可能在这次循环体结束之后,这样有可能会抓取重复的url。一种方式是利用命名参数来保持当前循环时url值:


这种方式起作用是因为每个函数会保持命令参数的默认值,每次循环时的url被保持在_fetch函数内,不带参数调用它时,url为函数本身保持的url默认值,而不是循环变量url。仅仅对这个示例,更简单的方式是直接将url传给线程的构造函数,但这种方式并不总有效。


变量覆盖方法


我要写一个让用户输入验证码的引擎,验证码内容从一个url处获得,两次让用户输入验证码。以下是其代码:


代码看起来很正常,但运行时却显示错误:


异常是在第二次调用e.captcha()方法时出现的,错误很令人莫名其妙。问题原因是我们在第6行将用户输入结果保存在self.captcha中了,它和方法名字一样,所以第一次调用完成之后,e.capcha就变成用户输入的字符串了,所以在第11行再次调用e.captcha()方法时,它实际上调用str.__call__()方法,而str没有这个方法,所以就出现上面的异常。有Java,C++或者C#背景的人比较容易上犯这个错误,在这些语言中变量和方法属于不同的命名空间,一方不会覆盖另一方。而在python等函数编程语言中,函数就是第一类对象,不再区分方法和变量,同名的变量会覆盖同名的方法,反之亦然。解决方法很简单,将captcha方法重命名为get_captcha就可以了。