58爬虫了百姓，赶集和58互爬，最后各种信息相同，都是爬虫后的数据库调用，潜规则啊，几家独大还暗中各种攻击，赶驴网的幽默事例我不想多评价。这个时代是砸.钱*养.钱的时代，各种姚晨杨幂葛优，各种地铁公车广告，各种卫视广告，铺天盖地~~~
来谈php爬虫抓取信息~~php爬虫首推curl函数了，先来认识下它。
0x01.curl扩展的安装：
1.确保php子文件夹ext里面有php_curl.dll（一般都有的，一般配置时候会设置环境变量的）
2.将php.ini里面的;extension=php_curl.dll反注释为extension=php_curl.dll
3.重启apache完了。
4.如果还不行，把php5/libeay32.dll，ssleay32.dll复制到系统目录windows/下，这2个dll的描述是openssl shared library。
否则会出现
fatal error: call to undefined function curl_init() in xx:\xx\xx\xx.php on line 3?
这样未定义，找不到库的错误，大家懂的。
0x02.先来熟悉下curl再去采集抓取，信息时代，大爆炸，爬虫个信息不是难事。顺便测试登陆，cookie。php中的curl函数库（client url library function）是个强大的库。
curl_close — 关闭一个curl会话curl_copy_handle — 拷贝一个curl连接资源的所有内容和参数curl_errno — 返回一个包含当前会话错误信息的数字编号curl_error — 返回一个包含当前会话错误信息的字符串curl_exec — 执行一个curl会话curl_getinfo — 获取一个curl连接资源句柄的信息curl_init — 初始化一个curl会话curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄资源curl_multi_close — 关闭一个批处理句柄资源curl_multi_exec — 解析一个curl批处理句柄curl_multi_getcontent — 返回获取的输出的文本流curl_multi_info_read — 获取当前解析的curl的相关传输信息curl_multi_init — 初始化一个curl批处理句柄资源curl_multi_remove_handle — 移除curl批处理句柄资源中的某个句柄资源curl_multi_select — get all the sockets associated with the curl extension, which can then be selectedcurl_setopt_array — 以数组的形式为一个curl设置会话参数curl_setopt — 为一个curl设置会话参数curl_version — 获取curl相关的版本信息
curl_init()函数的作用初始化一个curl会话，curl_init()函数唯一的一个参数是可选的，表示一个url地址。curl_exec()函数的作用是执行一个curl会话，唯一的参数是curl_init()函数返回的句柄。curl_close()函数的作用是关闭一个curl会话，唯一的参数是curl_init()函数返回的句柄。
简单实例：
0x03.关于curl_setopt()函数的设置
bool curl_setopt (int ch, string option, mixed value)
curl_setopt()函数将为一个curl会话设置选项。option参数是你想要的设置，value是这个选项给定的值。
下列选项的值将被作为长整形使用(在option参数中指定)：
* curlopt_infilesize: 当你上传一个文件到远程站点，这个选项告诉php你上传文件的大小。* curlopt_verbose: 如果你想curl报告每一件意外的事情，设置这个选项为一个非零值。* curlopt_header: 如果你想把一个头包含在输出中，设置这个选项为一个非零值。* curlopt_noprogress: 如果你不会php为curl传输显示一个进程条，设置这个选项为一个非零值。注意：php自动设置这个选项为非零值，你应该仅仅为了调试的目的来改变这个选项。* curlopt_nobody: 如果你不想在输出中包含body部分，设置这个选项为一个非零值。* curlopt_failonerror: 如果你想让php在发生错误(http代码返回大于等于300)时，不显示，设置这个选项为一人非零值。默认行为是返回一个正常页，忽略代码。* curlopt_upload: 如果你想让php为上传做准备，设置这个选项为一个非零值。* curlopt_post: 如果你想php去做一个正规的http post，设置这个选项为一个非零值。这个post是普通的 application/x-www-from-urlencoded 类型，多数被html表单使用。* curlopt_ftplistonly: 设置这个选项为非零值，php将列出ftp的目录名列表。* curlopt_ftpappend: 设置这个选项为一个非零值，php将应用远程文件代替覆盖它。* curlopt_netrc: 设置这个选项为一个非零值，php将在你的 ~./netrc 文件中查找你要建立连接的远程站点的用户名及密码。* curlopt_followlocation: 设置这个选项为一个非零值(象 “location: “)的头，服务器会把它当做http头的一部分发送(注意这是递归的，php将发送形如 “location: “的头)。* curlopt_put: 设置这个选项为一个非零值去用http上传一个文件。要上传这个文件必须设置curlopt_infile和curlopt_infilesize选项.* curlopt_mute: 设置这个选项为一个非零值，php对于curl函数将完全沉默。* curlopt_timeout: 设置一个长整形数，作为最大延续多少秒。* curlopt_low_speed_limit: 设置一个长整形数，控制传送多少字节。* curlopt_low_speed_time: 设置一个长整形数，控制多少秒传送curlopt_low_speed_limit规定的字节数。* curlopt_resume_from: 传递一个包含字节偏移地址的长整形参数，(你想转移到的开始表单)。* curlopt_sslversion: 传递一个包含ssl版本的长参数。默认php将被它自己努力的确定，在更多的安全中你必须手工设置。* curlopt_timecondition: 传递一个长参数，指定怎么处理curlopt_timevalue参数。你可以设置这个参数为timecond_ifmodsince 或 timecond_isunmodsince。这仅用于http。* curlopt_timevalue: 传递一个从1970-1-1开始到现在的秒数。这个时间将被curlopt_timevalue选项作为指定值使用，或被默认timecond_ifmodsince使用。
下列选项的值将被作为字符串：
* curlopt_url: 这是你想用php取回的url地址。你也可以在用curl_init()函数初始化时设置这个选项。* curlopt_userpwd: 传递一个形如[username]:[password]风格的字符串,作用php去连接。* curlopt_proxyuserpwd: 传递一个形如[username]:[password] 格式的字符串去连接http代理。* curlopt_range: 传递一个你想指定的范围。它应该是”x-y”格式，x或y是被除外的。http传送同样支持几个间隔，用逗句来分隔(x-y,n-m)。* curlopt_postfields: 传递一个作为http “post”操作的所有数据的字符串。* curlopt_referer: 在http请求中包含一个”referer”头的字符串。* curlopt_useragent: 在http请求中包含一个”user-agent”头的字符串。* curlopt_ftpport: 传递一个包含被ftp “post”指令使用的ip地址。这个post指令告诉远程服务器去连接我们指定的ip地址。这个字符串可以是一个ip地址，一个主机名，一个网络界面名 (在unix下)，或是‘-’(使用系统默认ip地址)。* curlopt_cookie: 传递一个包含http cookie的头连接。* curlopt_sslcert: 传递一个包含pem格式证书的字符串。* curlopt_sslcertpasswd: 传递一个包含使用curlopt_sslcert证书必需的密码。* curlopt_cookiefile: 传递一个包含cookie数据的文件的名字的字符串。这个cookie文件可以是netscape格式，或是堆存在文件中的http风格的头。* curlopt_customrequest: 当进行http请求时，传递一个字符被get或head使用。为进行delete或其它操作是有益的，更pass a string to be used instead of get or head when doing an http request. this is useful for doing or another, more obscure, http request. 注意: 在确认你的服务器支持命令先不要去这样做。下列的选项要求一个文件描述(通过使用fopen()函数获得)：* curlopt_file: 这个文件将是你放置传送的输出文件，默认是stdout.* curlopt_infile: 这个文件是你传送过来的输入文件。* curlopt_writeheader: 这个文件写有你输出的头部分。* curlopt_stderr: 这个文件写有错误而不是stderr。用来获取需要登录的页面的例子,当前做法是每次或许都登录一次,有需要的人再做改进了.
php实现最简单爬虫原型（话说原作者的正则注释反了，出现错误哈哈）
代码如下/;
//$result = preg_match_all($reg_tag_a,$web_content,$match_result);
$result = preg_match_all(/]*?name=[\'\]?description[\'\]?[^>]*?>/is,$web_content,$match_result);
if($result){
return $match_result[1];
}
}
function _reviseurl($base_url,$url_list){
$url_info = parse_url($base_url);
$base_url = $url_info[scheme].'://';
if($url_info[user]&&$url_info[pass]){
$base_url .= $url_info[user].:.$url_info[pass].@;
}
$base_url .= $url_info[host];
if($url_info[port]){
$base_url .= :.$url_info[port];
}
$base_url .= $url_info[path];
print_r($base_url);
if(is_array($url_list)){
foreach ($url_list as $url_item) {
if(preg_match('/^http/',$url_item)){
//已经是完整的url
$result[] = $url_item;
}else {
//不完整的url
$real_url = $base_url.'/'.$url_item;
$result[] = $real_url;
}
}
return $result;
}else {
return;
}
}
function crawler($url){
$content = _geturlcontent($url);
if($content){
$url_list = _reviseurl($url,_filterurl($content));
if($url_list){
return $url_list;
}else {