近期公司项目的需求是根据客户提供的api，我们定时去获取数据， 之前的方案是用php收集任务存入到redis队列，然后在linux下做一个常驻进程跑某一个php文件， 该php文件就一个无限循环，判断redis队列，有就执行，没有就break.
最近刚好学了一下python, python的urllib模块或许比php的curl更快，而且简单. 贴一下代码
#_*_ coding:utf-8 _*_import sysreload(sys)sys.setdefaultencoding( "utf-8" )import osimport jsonfrom urllib import urlopendoc = urlopen("http://xxxx?webid=1&tid=901&cateid=101").read()doc = json.loads(doc)print docprint doc.keys()print doc["msg"]print doc['data']print doc['ret']
发现第一次访问所需要的时间为[Finished in 3.0s]
而第二次访问的时间为[Finished in 0.2s]
可见python的urllib模块是加有缓存的
原文地址：python之urllib的学习, 感谢原作者分享。 回避现实的人，未来将更不理想。
