在下面采集数据过程中file_get_contents函数是关键了,下面我们来看看file_get_contents函数语法
string file_get_contents ( string $filename [, bool $use_include_path = false [, resource $context [, int $offset = -1 [, int $maxlen ]]]] )
和 file() 一样,只除了 file_get_contents() 把文件读入一个字符串。将在参数 offset 所指定的位置开始读取长度为 maxlen 的内容。如果失败, file_get_contents() 将返回 false。
file_get_contents() 函数是用来将文件的内容读入到一个字符串中的首选方法。如果操作系统支持还会使用内存映射技术来增强性能。
例
代码如下 复制代码
这样$homepage就是我们采集网的内容给保存下来了,好了说了这么多我们开始吧。
例
代码如下 复制代码
$value)
{
$rs[$key]=fetch_match_contents($value[begin],$value[end],$c);
if(is_array($th[$key]))
{ foreach($th[$key] as $old => $new)
{
$rs[$key]=str_replace($old,$new,$rs[$key]);
}
}
}
return $rs;
}
$url=http://www.bkjia.com; //要采集的地址
$ft[title][begin]=
; //截取的开始点
$ft[title][end]=; //截取的结束点
$th[title][中山]=广东; //截取部分的替换$ft[body][begin]=
; //截取的开始点
$ft[body][end]=; //截取的结束点
$th[body][中山]=广东; //截取部分的替换$rs=pick($url,$ft,$th); //开始采集
echo $rs[title];
echo $rs[body]; //输出
?>
以下代码从上一面修改而来,专门用于提取网页所有超链接,邮箱或其他特定内容
代码如下 复制代码
$value)
{
$rs[$key]=fetch_match_contents($value[begin],$value[end],$c);
if(is_array($th[$key]))
{ foreach($th[$key] as $old => $new)
{
$rs[$key]=str_replace($old,$new,$rs[$key]);
}
}
}
return $rs;
}
$url=http://www.bkjia.com; //要采集的地址
$ft[a][begin]='
$ft[a][end]='>'; //截取的结束点
$rs=pick($url,$ft,$th); //开始采集
print_r($rs[a]);
?>
小提示file_get_contents很是容易被防采集了,我们可以使用curl来模仿用户对网站进行访问,这算比上面要高级不少哦,file_get_contents()效率稍低些,常用失败的情况、curl()效率挺高的,支持多线程,不过需要开启下curl扩展。下面是curl扩展开启的步骤:
1、将php文件夹下的三个文件php_curl.dll,libeay32.dll,ssleay32.dll复制到system32下;
2、将php.ini(c:windows目录下)中的;extension=php_curl.dll中的分号去掉;
3、重启apache或者iis。
简单的抓取页面函数,附带伪造 referer 和 user_agent 功能
代码如下 复制代码
http://www.bkjia.com/phpjc/444620.htmlwww.bkjia.comtruehttp://www.bkjia.com/phpjc/444620.htmltecharticle小偷程序其实就是利用了php中的一特定函数实现采集别人网站的内容,然后通过正则分析把我们想要的内容保存到自己本地数据库了,下面...
