我想在
Linux中使用数以百万行的字符串洗牌一个大文件.我尝试’sort -R’但是它非常慢(对于16M大文件,需要50分钟).有更快的实用程序,我可以在它的地方使用吗?
解决方法
使用shuf而不是排序-R(
man page).
排序-R的缓慢是probably due to it hashing every line.Shuf只是一个随机排列,所以它没有这个问题.
(这是在评论中提出的,但由于某些原因没有被写为任何人的答案)
我想在
Linux中使用数以百万行的字符串洗牌一个大文件.我尝试’sort -R’但是它非常慢(对于16M大文件,需要50分钟).有更快的实用程序,我可以在它的地方使用吗?
使用shuf而不是排序-R(
man page).
排序-R的缓慢是probably due to it hashing every line.Shuf只是一个随机排列,所以它没有这个问题.
(这是在评论中提出的,但由于某些原因没有被写为任何人的答案)