linux怎么去重复值

linux怎么去重复值详细介绍

在 Linux 中去除重复值（通常指文本文件的重复行），可根据场景选择以下方法：

一、基础用法：
uniq（处理
相邻重复行）

bash

 file.txt    

• 原理：uniq 仅删除连续重复的行，需配合 sort 预处理。
• 示例（输入文件内容）：plaintext

  apple
  
  banana
  apple # 非相邻重复，不会被 uniq 处理
  

  执行 sort file.txt | uniq 后输出：plaintext

  apple
  
  banana
  

二、删除
所有重复行（无论是否相邻）

bash

  file.txt  

• -u 选项：等价于 sort file.txt | uniq，一步完成排序 + 去重。
• 示例：bash

    b\na"     
  
  

三、高级场景：保留 / 显示重复信息

1. 显示重复次数：
   bash

    file.txt     
   
   
   
   
   

2. 仅保留重复行：
   bash

    file.txt     
   
   

3. 仅保留唯一行：
   bash

    file.txt     
   
   

四、不依赖排序：用
awk 去重（适合内存足够的小文件）

bash

  file.txt  

• 特点：无需排序，可保留原始顺序，但内存占用随文件增大而增加。
• 示例：bash

    b\na"     
  
  

五、注意事项

1. 大小写敏感：默认区分大小写，加 -i 忽略（如 uniq -i）。
2. 字段去重：若需按列去重（如第一列），先用 sort -k1 按列排序。
3. 大文件处理：sort 和 uniq 基于磁盘排序，适合 GB 级文件；awk 依赖内存，慎用。

总结表格

根据需求选择即可，sort + uniq 是最通用的方案。