您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

php读取大文件的一点疑问

2024/6/20 1:27:12发布33次查看
我要分析一个6g的log文件,比对每行文件是否符合我的要求,程序如下
$file_path = 'd:\work\workplace\test\file\system.log';$file = fopen($file_path, 'r');$key = md5(0);$i = 1;while (!feof($file)) { $buff = fgets($file); if ($buff == $key . \r\n) { echo find 0 at line {$i}\r\n; } $i ++;}fclose($file);
我想问下这样性能怎么样吗,不会出现内存泄露或其他问题吧,还有进一步优化的方法吗?
回复讨论(解决方案) 你需要先将这个文件分割成若干个小文件 
然后循环读取每个小文件即可!
linux 下 $ split -b 
分割···
linux 下 $ split -b 
分割···
为什么要分割啊,用fgets不是每次只去一行,并没有把文件都读取进内存啊
我建议你用fgets时最好制定读取的字符数,不要一行一行的读,6g的文件说不定某一行会很长!
现在可以肯定每一行不会很长,应为日志是按规定格式存取的
哦,那你看着办吧!呵呵,我只是建议!
哦,那你看着办吧!呵呵,我只是建议!
我的确也看到有的人像你那样做,但是如果不是一下子读入内存,应该不比那样吧,切割文件和删除临时文件还有消耗,这是我个人感觉,有不对的情指出
6g的文本文件……
你咋能整这么大的文件?
日志应该按天或者按周、按月来记,超过一定大小就新建一个文件
应该分成多个文件
6g的文本文件……
你咋能整这么大的文件?
日志应该按天或者按周、按月来记,超过一定大小就新建一个文件
应该分成多个文件
我们公司的行为日志,一天6g
可以,没有问题。就是很费时间
仅就代码而言,可以缩减一点
$file_path = 'd:\work\workplace\test\file\system.log';
$file = fopen($file_path, 'r');
$key = md5(0);
$i = 1;
while ($buff = fgets($file)) {
    if ($buff == $key . \r\n)
    {
        echo find 0 at line {$i}\r\n;
    }
    $i ++;
}
fclose($file);
如果一次读取的多一点(比如1m)可能要快一点。不过算法要复杂些
做这种东西,不是php的长项
要不搞web的话,还是换其它程序搞吧。
引用 9 楼 baiyuxiong 的回复:
6g的文本文件……
你咋能整这么大的文件?
日志应该按天或者按周、按月来记,超过一定大小就新建一个文件
应该分成多个文件
我们公司的行为日志,一天6g
如果用shell怎么写啊,求达人,没有也很感谢大家
后来呢?怎么解决了嘛??
我用的fgets读的文件,也不算大吧,150m的一个csv文件,18秒钟,用fgets按行读的话(已知不会出现很长的行),需不需要再用fseek来设定文件指针?可以提高效率吗?
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product