其实在实际运作中，根本就不需要爬虫，只需要一点简单的python基础就可以了。
前置需求：
python3语法基础
http网络基础
第一步，确定api的提供方。imdb是最大的电影数据库，与其相对的，有一个omdb的网站提供了api供使用。这家网站的api非常友好，易于使用。
http://www.omdbapi.com/
第二步，确定网址的格式。
第三步，了解基本的requests库的使用方法。
http://cn.python-requests.org/zh_cn/latest/
为什么我要使用requests，不使用urllib.request呢？
因为python的这个库容易出各种各样的奇葩问题，我已经受够了……
第四步，编写python代码。
我想做的是，逐行读取文件，然后用该行的电影名去获取电影信息。因为源文件较大，readlines()不能完全读取所有电影名，所以我们逐行读取。
import requests for line in open(movies.txt): s=line.split('%20\n') urll='http://www.omdbapi.com/?t='+s[0] result=requests.get(urll) if result: json=result.text print(json) p=open('result0.json','a') p.write(json) p.write('\n') p.close()
我预先把电影名文件全部格式化了一遍，将所有的空格替换成了%20，便于使用api（否则会报错）。这个功能可以用visual studio code完成。
注意，编码的时候选择gbk编码，不然会出现下面错误：
1 unicodedecodeerror: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence
第五步，做优化和异常处理。
主要做三件事，第一件事，控制api速度，防止被服务器屏蔽；
第二件事，获取api key（甚至使用多个key）
第三件事：异常处理。
import requests 3 key=[‘’] for line in open(movies.txt): try: #…… except timeouterror: continue except unicodeencodeerror: continue except connectionerror: continue
下面贴出完整代码：
# -*- coding: utf-8 -*- import requests import time key=['xxxxx','yyyyy',zzzzz','aaaaa','bbbbb'] i=0 for line in open(movies.txt): try: i=(i+1)%5 s=line.split('%20\n') urll='http://www.omdbapi.com/?t='+s[0]+'&apikey='+key[i] result=requests.get(urll) if result: json=result.text print(json) p=open('result0.json','a') p.write(json) p.write('\n') p.close() time.sleep(1) except timeouterror: continue except unicodeencodeerror: continue except connectionerror: continue
接下来喝杯茶，看看自己的程序跑得怎么样吧！