您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

网页抓取:PHP实现网页爬虫方式小结

2026/1/15 15:13:09发布13次查看
来源:http://www.ido321.com/1158.html 抓取某一个网页中的内容,需要对dom树进行解析,找到指定节点后,再抓取我们需要的内容,过程有点繁琐。lz总结了几种常用的、易于实现的网页抓取方式,如果熟悉jquery选择器,这几种框架会相当简单。 一、ganon 项目
来源:http://www.ido321.com/1158.html
抓取某一个网页中的内容,需要对dom树进行解析,找到指定节点后,再抓取我们需要的内容,过程有点繁琐。lz总结了几种常用的、易于实现的网页抓取方式,如果熟悉jquery选择器,这几种框架会相当简单。
一、ganon
项目地址: http://code.google.com/p/ganon/
文档: http://code.google.com/p/ganon/w/list
测试:抓取我的网站首页所有class属性值是focus的div元素,并且输出class值
class,
\n; }?>
结果:
二、phpquery
项目地址:http://code.google.com/p/phpquery/
文档:https://code.google.com/p/phpquery/wiki/manual
find('h2')->html().
; } ?>
结果:
  三、simple-html-dom
项目地址: http://simplehtmldom.sourceforge.net/
文档: http://simplehtmldom.sourceforge.net/manual.htm
测试:抓取我网站首页的所有链接
find('img') as $element)// echo $element->src . '
';//找到所有链接foreach($html->find('a') as $element) echo $element->href . '
'; ?>
结果:(截图是一部分)
四、snoopy
项目地址:http://code.google.com/p/phpquery/
文档:http://code.google.com/p/phpquery/wiki/manual
测试:抓取我的网站首页
fetch($url); //获取所有内容 echo $snoopy->results; //显示结果// echo $snoopy->fetchtext ;//获取文本内容(去掉html代码)// echo $snoopy->fetchlinks($url) ;//获取链接// $snoopy->fetchform ;//获取表单 ?>
结果:
五、手动编写爬虫
如果编写能力ok,可以手写一个网页爬虫,实现网页抓取。网上有千篇一律的介绍此方法的文章,lz就不赘述了。有兴趣了解的,可以百度  php 网页抓取。
ps:资源分享
常见的开源爬虫项目请戳:http://blog.chinaunix.net/uid-22414998-id-3774291.html
国民岳父的“屁民理论”
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product