linux中去重命令

linux中去重命令详细介绍

在 Linux 里，有不少命令可用于去重操作，下面为你介绍几个常用的命令及其用法。

1.
uniq 命令

uniq 命令用于去除文本文件中相邻的重复行，通常和 sort 命令搭配使用，先对文本排序，再去重。

基本用法

• 去除相邻重复行：

bash

 input.txt output.txt

此命令会把 input.txt 文件中相邻的重复行去除，将结果保存到 output.txt 文件。

• 结合 sort 命令去除所有重复行：

bash

 input.txt    output.txt

先对 input.txt 文件的内容排序，再去除重复行，最后把结果保存到 output.txt 文件。

2.
sort -u 命令

sort -u 可直接对文件内容进行排序并去重。

基本用法

bash

  input.txt  output.txt

该命令会对 input.txt 文件的内容排序并去重，将结果保存到 output.txt 文件。

3.
awk 命令

awk 是功能强大的文本处理工具，也能用来去除重复行。

基本用法

bash

  input.txt  output.txt

912 input.txt > output.txt

seen 是一个数组，用来记录每行是否已经出现过。若某行未出现过，seen[$0] 为 0，!seen[$0] 为真，执行打印操作，同时 seen[$0] 加 1；若某行已经出现过，!seen[$0] 为假，不执行打印操作。最终把去重后的结果保存到 output.txt 文件。