您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

在内存小于文件大小的情况下,大文件中快速查找定位一行

2024/3/31 23:12:21发布15次查看
内存 大文件
比如有一个文件
abc   56
def   100
ret   300
...
文件有2列,第一列都是不重复的,第2列表示次数(当成一个数字就行了)。
如果文件大小为2g或者更大,内存只有1g的情况,如何快速定位到“abc  56” 这一行。
请大拿们给个清晰点的解决方法。
回复讨论(解决方案) 没明白您是什么意思?
如果是打开文件想快速找到某一行的话,可以使用vi或者more将文件打开;
然后输入:   /abc    回车就好了
fopen,再fscanf。
一次读一行就好啊。内存不会成为限制因素的。
有没有人知道啊?
如果是一行一行读,那效率就不行啦。
还有没有更快速的方法呢?
我的思路是建一张哈希表,然后根据哈希算法,再用那个哈希碰撞的原理去排重。
不知道各位有什么好的意见没
建hash表的话,岂不是要先对文件的内容进行hash?
可以用其他的工具来处理,未必一定要用算法。
比如awk:
awk '/abc\t56/{ print nr}' file
可以获取匹配行的行号。
建议lz说下具体的需求,如果仅仅是获取行号的话,方案很多。
但是如果还有其他需求的话,类似awk这么做未必是最佳方案。
有没有人知道啊?
如果是一行一行读,那效率就不行啦。
还有没有更快速的方法呢?
我的思路是建一张哈希表,然后根据哈希算法,再用那个哈希碰撞的原理去排重。
不知道各位有什么好的意见没 那你不也得先一行一行读出来再哈希吗?
嫌一行一行读太慢,可以一块一块读
有没有人知道啊?
如果是一行一行读,那效率就不行啦。
还有没有更快速的方法呢?
我的思路是建一张哈希表,然后根据哈希算法,再用那个哈希碰撞的原理去排重。
不知道各位有什么好的意见没 那你不也得先一行一行读出来再哈希吗?
嫌一行一行读太慢,可以一块一块读
是的读块 比较符合你的需求
楼主可参考:
http://www.fantxi.com/blog/archives/php-read-large-file/
http://sjolzy.cn/php-large-file-read-operation.html
建hash表的话,岂不是要先对文件的内容进行hash?
可以用其他的工具来处理,未必一定要用算法。
比如awk:
awk '/abc\t56/{ print nr}' file
可以获取匹配行的行号。
建议lz说下具体的需求,如果仅仅是获取行号的话,方案很多。
但是如果还有其他需求的话,类似awk这么做未必是最佳方案。
需求就是怎么能快速找到? 比如我想知道abc后面的数字,或者def后面的数字...
有没有人知道啊?
如果是一行一行读,那效率就不行啦。
还有没有更快速的方法呢?
我的思路是建一张哈希表,然后根据哈希算法,再用那个哈希碰撞的原理去排重。
不知道各位有什么好的意见没 那你不也得先一行一行读出来再哈希吗?
嫌一行一行读太慢,可以一块一块读
内存怎么一块一块读呢? 能给个例子吗?
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product