Liunx 中sed、grep、cut、sort、tee、diff 、paste命令

Linux下一切皆文件，对Linux的操作就是对文件的处理。

把最近学习的liunx命令做一个总结，方便复习使用。

目录
一、grep 按关键字过滤文件行
二、cut 列截取工具
三、sed 替换文件中的内容
四、sort 排序，sort -u 2.txt、去除文件的重复行
五、tee
六、diff 逐行比较文件的不同
七、paste 合并文件行
八、tr 替换删除文件中的字符

一、grep

grep是行过滤工具，用于根据关键字进行行过滤

1、语法：

grep [选项] '关键字' 文件名

2、常见选项：

-i: 不区分大小写
-v: 查找不包含指定内容的行,反向选择
-w: 按单词搜索
-o: 打印匹配关键字
-c: 统计匹配到的行数
-n: 显示行号
-r: 逐层遍历目录查找
-A: 显示匹配行及后面多少行 
-B: 显示匹配行及前面多少行
-C: 显示匹配行前后多少行
-l：只列出匹配的文件名
-L：列出不匹配的文件名
-e: 使用正则匹配
-E:使用扩展正则匹配
^key:以关键字开头
key$:以关键字结尾
^$:匹配空行

3、常见的案例使用

# grep -i root passwd                       忽略大小写匹配包含root的行
# grep -w ftp passwd                        精确匹配ftp单词
# grep -w hello passwd                      精确匹配hello单词;自己添加包含hello的行到文件
# grep -wo ftp passwd                       打印匹配到的关键字ftp
# grep -n root passwd                       打印匹配到root关键字的行号
# grep -ni root passwd                      忽略大小写匹配统计包含关键字root的行
# grep -nic root passwd                     忽略大小写匹配统计包含关键字root的行数
# grep -i ^root passwd                      忽略大小写匹配以root开头的行
# grep bash$ passwd                             匹配以bash结尾的行
# grep -n ^$ passwd                             匹配空行并打印行号
# grep ^# /etc/vsftpd/vsftpd.conf       匹配以#号开头的行
# grep -v ^# /etc/vsftpd/vsftpd.conf    匹配不以#号开头的行
# grep -A 5 mail passwd                     匹配包含mail关键字及其后5行
# grep -B 5 mail passwd                     匹配包含mail关键字及其前5行
# grep -C 5 mail passwd                     匹配包含mail关键字及其前后5行

二、 cut

cut是列截取工具，用于列的截取

1、语法

# cut 选项  文件名

2、常见选项

-c: 以字符为单位进行分割,截取
-d: 自定义分隔符，默认为制表符/t
-f: 与-d一起使用，指定截取哪个区域

3、常见的案例使用

# cut -d: -f1 1.txt             以:冒号分割，截取第1列内容
# cut -d: -f1,6,7 1.txt     以:冒号分割，截取第1,6,7列内容
# cut -c4 1.txt                 截取文件中每行第4个字符
# cut -c1-4 1.txt           截取文件中每行的1-4个字符
# cut -c4-10 1.txt          截取文件中每行的4-10个字符
# cut -c5- 1.txt                从第5个字符开始截取后面所有字符
cut -c1-4 passed.txt    #截取文件中每行的1-4个字符

三、sed

关于sed命令的使用，大家可以搜索网上相关文章，这里只列举了部分我工作中常用的用法。

1、常见的案例使用

sed -i '1d' filename     #删除文件第一行，-i会直接修改原文件内容
sed -i 'nd' filename      #删除文件第n行
sed -i '$d'       #删除文件最后一行
sed -i '1,5d' filename      #删除文件第1到5五行
sed -i '10,$d' filename     # 删除文件第10到最后一行
sed  -i 's/原字符串/替换字符串/' filename   #替换文件中的内容
sed -i 's/sbin/sbin1204/g' passwd        #将文件所有sbin替换成sbin1204
sed -i '1,5s/sbin/sbin1204/g' passwd    ##将文件前五行中的sbin替换成sbin1204

四、sort

sort工具用于排序，它将文件的每一行作为一个单位，从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

1、语法和选项

-u ：去除重复行
-r ：降序排列，默认是升序
-o : 将排序结果输出到文件中,类似重定向符号>
-n ：以数字排序，默认是按字符排序
-t ：分隔符
-k ：第N列
-b ：忽略前导空格。
-R ：随机排序，每次运行的结果均不同

2、常见的案例使用

# sort -n -t: -k3 1.txt             按照用户的uid进行升序排列
# sort -nr -t: -k3 1.txt            按照用户的uid进行降序排列
# sort -n 2.txt                         按照数字排序
# sort -nu 2.txt                        按照数字排序并且去重
# sort -nr 2.txt 
# sort -nru 2.txt 
# sort -nru 2.txt 
# sort -n 2.txt -o 3.txt            按照数字排序并将结果重定向到文件
# sort -R 2.txt 
# sort -u 2.txt 

五、tee

tee工具是从标准输入读取并写入到标准输出和文件，即：双向覆盖重定向（屏幕输出|文本输入）

1、常见的案例使用

echo hello world|tee file1    # 屏幕打印hello world,并将hello world写入到文件file1
# cat file1 
echo 999|tee -a file1    # 屏幕打印999,并将999追加到文件file1
grep -v '^#' passed.txt | grep -v '^$' |tree test1202.txt

六.diff

diff工具用于逐行比较文件的不同
注意：diff描述两个文件不同的方式是告诉我们怎样改变第一个文件之后与第二个文件匹配
1、语法

diff [选项] 文件1 文件2

2、常用选项

-b  不检查空格   
-B  不检查空白行  
-i  不检查大小写  
-w  忽略所有的空格 
--normal    正常格式显示(默认)  
-c  上下文格式显示 
-u  合并格式显示

七、paste

paste工具用于合并文件行

1、常用选项

-d：自定义间隔符，默认是tab
-s：串行处理，非并行

2、常见的案例使用

paste file1 file2  #file1 file2按行合并，分隔符是tab
paste -d: file1 file2  #file1 file2按行合并，分隔符是冒号
paste -s file1 file2
paste -s -d: file1 file2

八、tr

tr用于字符转换，替换和删除；主要用于删除文件中控制字符或进行字符转换。tr工具是一对一替换，是将匹配中的字符替换为另外一个字符。

1、常用选项

-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串

用法1：命令的执行结果交给tr处理，其中string1用于查询，string2用于转换处理
commands|tr  'string1'  'string2'  #将string1替换为string2，两个程序之间用管道连接起来

=======================================
用法2：tr处理的内容来自文件，记住要使用"<"标准输入
 tr  'string1'  'string2' < filename  #将文件的内容作为标准输入交给tr处理

=======================================
用法3：匹配string1进行相应操作，如删除操作
 tr [options] 'string1' < filename

2、常见的案例使用

tr 'a-z' 'A-Z' 

自己现在写文章越来越不用心了，总觉得太忙，要把所有时间用在学习上，多总结多写文章。