您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

求采集页数多里,怎样分开一部分一部分采,该怎么解决

2024/5/30 3:15:33发布46次查看
求采集页数多里,怎样分开一部分一部分采
连接$url=array()里面一共有1000个页面的url地址,
我写了一个采集类
foreach ($url as $key => $value){
$get_json_contetns = $caiji->getjson($value);
$excel_contetns[] = $caiji->getcontents($get_json_contetns,$key);
}
像这样循化出来的$excel_contetns 就是我要采集的内容。
当我采集50页以下,还好,当页数多了,就采集超时了,还请大侠指点一下,我怎么处理一下???
------解决方案--------------------
将 $url 存入数据库
逐次从数据库读取 $value 执行采集,如遇新的 url,重复第一步
------解决方案--------------------
不要拘泥于“存不存数据库”,问题的实质是将单一的任务分解成多个任务来完成
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product