加入收藏 | 设为首页 | 会员中心 | 我要投稿 大庆站长网 (https://www.0459zz.com/)- 科技、智能边缘云、事件网格、云计算、站长网!
当前位置: 首页 > 综合聚焦 > Linux > 正文

最快的方法来在Linux中的文件中洗牌

发布时间:2021-02-21 10:37:49 所属栏目:Linux 来源:互联网
导读:我想在 Linux中使用数以百万行的字符串洗牌一个大文件.我尝试’sort -R’但是它非常慢(对于16M大文件,需要50分钟).有更快的实用程序,我可以在它的地方使用吗? 使用shuf而不是排序-R( man page). 排序-R的缓慢是probably due to it hashing every line.Shuf只

我想在 Linux中使用数以百万行的字符串洗牌一个大文件.我尝试’sort -R’但是它非常慢(对于16M大文件,需要50分钟).有更快的实用程序,我可以在它的地方使用吗?

解决方法

使用shuf而不是排序-R( man page).

排序-R的缓慢是probably due to it hashing every line.Shuf只是一个随机排列,所以它没有这个问题.

(这是在评论中提出的,但由于某些原因没有被写为任何人的答案)

(编辑:大庆站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读