去除文本中重复的数据行

一、去掉相邻重复的数据行




复制代码
代码如下:


$cat data1.txt | uniq
输出;
beijing
wuhan
beijing
wuhan


二、去掉所有重复的数据行




复制代码
代码如下:


$cat data1.txt | sort | uniq


注;
只有uniq命令的话;只是把相邻的重复的数据行去掉。
如果先 sort 的话;就会把所有重复的数据行变成相邻的数据行;再 uniq 的话;就去掉所有重复的数据行了。


输出;
beijing 
wuhan 
*****************************************************************************************************************