Browsed by
标签:bitmap

Bitmap 多语言实现及应用

Bitmap 多语言实现及应用

工作中碰到这样一个问题: 有一个文本文件,有上亿行数据,每行数据是 unsigned int。现在需要将其中可能重复的数只保留一个,同时和另外一个或多个这样的文件进行排重(即和它们做差集)。要求尽可能快的筛选出来。 开始实现比较简单粗暴,将数据直接通过 LOAD DATA INFILE 导入 MySQL 表中,然后多表之间做 LEFT JOIN。数据不是特别大,比如几千万,且就要排重的文件不多时,比如一个,速度还可以接受。然而,当数据上亿,且有多个文件需要排重时,性能急剧下降…

阅读全文 阅读全文


好差啊挺差的一般般还行很赞 (1 人打了分, 平均分:5.00,总分:5)
Loading...