它是什么?
GNU Parallel是一个shell工具,为了在一台或多台计算机上并行的执行计算任务,一个计算任务可以是一条shell命令或者一个以每一行做为输入的脚本程序。通常的输入是文件列表、主机列表、用户列表、URL列表或者表格列表;一个计算任务也可以是一个从管道读取的一条命令。GNU Parallel会把输入分块,然后通过管道并行的执行。
如果你会使用xargs和tee命令,你会发现GNU Parallel非常易于使用,因为GNU Parallel具有与xargs一样的选项。GNU Parallel可以替代大部分的shell循环,并且用并行的方式更快的完成计算任务。
GNU Parallel保证它的输出与顺序执行计算任务时是一样的,这样就可以方便的把GNU Parallel的输出做为其它程序的输入。
对于每一行输入,GNU Parallel会把这一行做为参数来运行指定的命令。如果没有给出命令,那么这一行会被当做命令执行。多行输入会并行的运行。GNU Parallel经常被用于替代xargs或者cat | bash。
指南
本教程展示了绝大多数GNU Parallel的功能。旨在介绍GNU Parallel中的一个选项,而非讲解真实世界中使用的例子。花一个小时的时间学习本教程,你会由此爱上上命令行。
预备
为了执行本教程中的示例,你首先需要做如下准备:
parallel >= version 20130814
安装最新版:
这条命令同时也会安装最新版的指南
本教程的大部分内容同时也兼容旧版本。
abc-file
生成文件:
def-file
生成文件:
abc0-file
生成文件:
abc_-file
生成文件:
tsv_file.tsv
生成文件:
num30000
生成文件:
num1000000
生成文件:
num_%header
生成文件:
远程执行:ssh免密码登录$SERVER1和$SERVER2
生成文件:
最后应该成功运行如下命令:
使用 ssh-keygen -t dsa; ssh-copy-id $SERVER1 建立环境(使用empty pass phrase)
输入源
GNU Parallel的输入源支持文件、命令行和标准输入(stdin或pipe)
单个输入源
从命令行读取输入:
输出(由于任务以并行的方式执行,顺序可能会有所不同):
A
B
C文件做为输入源:
输出同上。
STDIN(标准输入)做为输入源:
输出同上。
多输入源
GNU Parallel支持通过命令行指定多个输入源,它会生成所有的组合:
输出:
A D
A E
A F
B D
B E
B F
C D
C E
C F多个文件做为输入源:
输出同上。
STDIN(标准输入)可以做为输入源中的一个,使用“-”:
输出同上。
可以使用“::::”替代 -a:
输出同上。
::: 和 :::: 可以混合使用:
输出同上。
适配参数
–xapply 从每一个输入源取一个参数:
输出:
A D
B E
C F如果其中一个输入源的长度比较短,它的值会被重复:
输出:
A F
B G
C F
D G
E F改变参数分隔符
GNU Parallel可以指定分隔符替代 ::: 或 ::::,当这两个符号被其它命令占用的时候会特别有用:
输出:
A D
A E
A F
B D
B E
B F
C D
C E
C F改变参数分隔符:
输出同上。
改变参数定界符
GNU Parallel默认把一行做为一个参数:使用 \n 做为参数定界符。可以使用 -d 改变:
输出:
A
B
C\0 代表NULL:
输出同上。
-0 是 -d \0 的简写(通常用于从 find … -print0读取输入):
输出同上。
输入源中的结束值
GNU Parallel支持指定一个值做为结束标志:
输出:
A
B跳过空行
使用 –no-run-if-empty 来跳过空行:
输出:
1
2构建命令行
没有指定命令意味着参数就是命令
如果parallel之后没有给定命令,那么这些参数会被当做命令:
输出:
命令可以是一个脚本文件,一个二进制可执行文件或一个bash的函数(须用 export -f 导出函数):
输出:
in my_func 1
in my_func 2
in my_func 3替换字符串
5种替换字符串
GNU Parallel支持多种替换字符串。默认使用 {}:
输出:
A/B.C
指定 {} :
输出同上
去掉扩展名 {.}:
输出
A/B
去掉路径 {/}:
输出:
B.C
只保留路径 {//}:
输出:
A
去掉路径和扩展名 {/.}:
输出:
B
输出任务编号:
输出:
1
2
3改变替换字符串
使用 -I 改变替换字符串符号 {}:
输出:
A/B.C
–extensionreplace替换 {.}:
输出:
A/B
–basenamereplace替换 {/}:
输出:
B.C
–dirnamereplace替换 {//}:
输出:
A
–basenameextensionreplace替换 {/.}:
输出:
B
–seqreplace替换 {#}:
输出:
1
2
3指定位置替换字符串
如果有多个输入源时,可以通过 {编号} 指定某一个输入源的参数:
输出:
A and C
A and D
B and C
B and D可以使用 / // /. 和 .: 改变指定替换字符串:
输出:
/=B.C //=A /.=B .=A/B
/=E.F //=D /.=E .=D/E位置可以是负数,表示倒着数:
输出:
1=A 2=C 3=E -1=E -2=C -3=A
1=A 2=C 3=F -1=F -2=C -3=A
1=A 2=D 3=E -1=E -2=D -3=A
1=A 2=D 3=F -1=F -2=D -3=A
1=B 2=C 3=E -1=E -2=C -3=B
1=B 2=C 3=F -1=F -2=C -3=B
1=B 2=D 3=E -1=E -2=D -3=B
1=B 2=D 3=F -1=F -2=D -3=B按列输入
使用 –colsep 把文件中的行切分为列,做为输入参数。下面使用TAB(\t):
1=f1 2=f2
1=A 2=B
1=C 2=D指定参数名
使用 –header 把每一行输入中的第一个值做为参数名:
输出:
f1=A f2=C
f1=A f2=D
f1=B f2=C
f1=B f2=D使用 –colsep 处理使用TAB做为分隔符的文件:
输出:
f1=A f2=B
f1=C f2=D多参数
–xargs 让GNU Parallel支持一行多个参数(可以指定上限):
输出:
2
30000个参数被分为两行。
一行中的参数个数的上限通过 -s 指定。下面指定最大长度是10000,会被分为17行:
为了获得更好的并发性,GNU Parallel会在文件读取结束后再分发参数。
GNU Parallel 在读取完最后一个参数之后,才开始第二个任务,此时会把所有的参数平均分配到4个任务(如果指定了4个任务)。
第一个任务与上面使用 –xargs 的例子一样,但是第二个任务会被平均的分成4个任务,最终一共5个任务。
输出:
5
10分参数分配到4个任务可以看得更清晰:
输出:
1 2 3
4 5 6
7 8 9
10替换字符串可以是单词的一部分。通过下面两个命令体会 -m 和 -X 的区别:
输出:
pre-A B-post
pre-C D-post
pre-E F-post
pre-G-post-X与 -m 相反:
输出:
pre-A-post pre-B-post
pre-C-post pre-D-post
pre-E-post pre-F-post
pre-G-post使用 -N 限制每行参数的个数:
输出:
A B C
D E F
G H-N也可以用于指定位置替换字符串:
输出:
1=A 2=B 3=C
1=D 2=E 3=F
1=G 2=H 3=-N0 只读取一个参数,但不附加:
输出:
foo
foo
foo引用
如果命令行中包含特殊字符,就需要使用引号保护起来。
perl脚本 print “@ARGV\n” 与linux的 echo 的功能一样。
输出:
A
使用GNU Parallel运行这条命令的时候,perl命令需要用引号包起来:
输出:
[Nothing]
使用 -q 保护perl命令:
输出:
This
works也可以使用 :
输出:
This
works,
too使用 -quote:
输出:
perl\ -e\ \print\ \”@ARGV\\n\”\
也可以使用命令:
输出:
This
also
works去除空格
使用 –trim 去除参数两头的空格:
输出:
pre- A-post
删除左边的空格:
输出:
pre-A -post
删除两边的空格:
输出:
pre-A-post
控制输出
以参数做为输出前缀:
输出:
A foo-A
B foo-B
C foo-C修改输出前缀 –tagstring:
输出:
A-bar foo-A
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。
原文链接:http://www.voidcn.com/article/p-cypqjqgc-bda.html