批量和并行不一样
- 雪夜
- 2025-08-30
- 热度
在linux环境下进行ngs数据处理时，采用批处理方法可以显著提高工作效率。以下是两种不同级别的批处理方法的详细介绍。
入门级批处理方法
熟悉我们生信技能树线下培训的粉丝们应该知道，我们的课程中介绍了一种批处理方法，如下所示：
创建配置文件
首先，我们需要创建一个配置文件，这里命名为
config，其内容如下：
$ cat config SRR1039510_1.fastq.gz SRR1039510_2.fastq.gz SRR1039511_1.fastq.gz SRR1039511_2.fastq.gz SRR1039512_1.fastq.gz SRR1039512_2.fastq.gz
编写命令脚本文件
接下来，将我们的代码写入一个shell脚本中，这里命名为
qc.sh（注意：代码中的
$1是后续要传入的
config文件）：
$ cat qc.sh
#!/bin/bash
cat $1 | while read id
do
arr=(${id})
fq1=${arr[0]}
fq2=${arr[1]}
trim_galore -q 25 --phred33 \
--length 36 --stringency 3 --paired \
-o ./ $fq1 $fq2
done提交至后台
最后，将脚本提交至后台运行：
nohup bash qc.sh config &
提交后，通过
top命令查看任务是否成功提交。如果提交成功，服务器会逐个处理数据，用户可以去处理其他事务，等数据处理完成后再查看结果。
进阶级批处理方法
如果您觉得逐个处理数据速度太慢，可以考虑以下进阶处理方法：
创建配置文件
同样，创建一个名为
config的配置文件：
$ cat config SRR1039510_1.fastq.gz SRR1039510_2.fastq.gz SRR1039511_1.fastq.gz SRR1039511_2.fastq.gz SRR1039512_1.fastq.gz SRR1039512_2.fastq.gz ......这里省略若干行......
编写命令脚本文件
编写一个更复杂的
qc.sh脚本：
$ cat qc.sh
#!/bin/bash
number1=$2
number2=$3
cat $1 | while read id
do
if((i%$number1==$number2))
then
arr=(${id})
fq1=${arr[0]}
fq2=${arr[1]}
trim_galore -q 25 --phred33 \
--length 36 --stringency 3 --paired \
-o ./ $fq1 $fq2
fi
## end for number1
i=$((i+1))
done提交至后台
最后，将脚本提交至后台运行：
for i in {0..2}
do
(nohup bash qc.sh config 3 $i 1>log.$i.txt 2>&1 & )
done 提交后，通过
top命令查看任务是否成功提交。如果提交成功，服务器会批量处理数据，比如这里的例子，每次同时处理3个数据，当然前提是服务器的资源足够。
补充一个错误的例子
在提交命令后，一定要检查任务运行情况，最直接的方法是使用
top命令实时查看。
这个例子的配置文件如下：
$ cat config SRR1039510 SRR1039510_1.fastq.gz SRR1039510_2.fastq.gz SRR1039511 SRR1039511_1.fastq.gz SRR1039511_2.fastq.gz SRR1039512 SRR1039512_1.fastq.gz SRR1039512_2.fastq.gz ......这里省略若干行......
脚本如下（这个脚本是有问题的，我们先留个悬念）：
$ cat qc.sh
#!/bin/bash
number1=$2
number2=$3
cat $1 | while read id
do
if [ ! -f ok.trim.$sample.status ]
then
touch ok.trim.$sample.status
echo "start trim for $sample" `date`
arr=(${id})
sample=${arr[0]}
fq1=${arr[1]}
fq2=${arr[2]}
trim_galore -q 25 --phred33 \
--length 36 --stringency 3 --paired \
-o ./ $fq1 $fq2
echo "end trim for $sample" `date`
fi
done最后提交命令：
for i in {0..2}
do
(nohup bash qc.sh config 3 $i 1>log.$i.txt 2>&1 & )
done 使用
top命令后仍然可以看到任务在运行，3个任务（不要以为这样就OK了）。
检查生成的文件，发现只生成了一个样本的文件：
$ ll -th -rw-rw-r-- 1 hcguo hcguo 1.2G Jun 18 17:45 SRR1039510_1_trimmed.fq.gz -rw-rw-r-- 1 hcguo hcguo 1.6K Jun 18 17:45 log.0.txt -rw-rw-r-- 1 hcguo hcguo 1.6K Jun 18 17:45 log.2.txt -rw-rw-r-- 1 hcguo hcguo 1.6K Jun 18 17:45 log.1.txt -rw-rw-r-- 1 hcguo hcguo 544 Jun 18 17:39 SRR1039510_1.fastq.gz_trimming_report.txt -rw-rw-r-- 1 hcguo hcguo 0 Jun 18 17:39 ok.trim..status
仔细查看
top命令时，发现3个命令实际上处理的是同一个样本，说明我们提交的命令存在问题。此时，应该进一步查看
log日志或
nohup.out文件，找出问题所在（这里不做演示了）。