gzip、pigz、zstd，xz对fastq文件压缩率对比

 

gzip、pigz、zstd压缩率、运算时间对比

 

001、 测试数据

(base) [b20223040323@admin2 test]$ ll -h
总用量 856M
-rw-rw-r-- 1 b20223040323 b20223040323 428M 12月  2 15:18 SRR1770413_1.fastq
-rw-rw-r-- 1 b20223040323 b20223040323 428M 12月  2 15:18 SRR1770413_2.fastq

 。

 

002、gzip压缩

(base) [b20223040323@admin2 test]$ find *.fastq | while read i; do gzip $i; done
(base) [b20223040323@admin2 test]$ ls
SRR1770413_1.fastq.gz  SRR1770413_2.fastq.gz  step1.slurm
(base) [b20223040323@admin2 test]$ ll -h
总用量 139M
-rw-rw-r-- 1 b20223040323 b20223040323 70M 12月  2 15:18 SRR1770413_1.fastq.gz
-rw-rw-r-- 1 b20223040323 b20223040323 70M 12月  2 15:18 SRR1770413_2.fastq.gz
-rw-rw-r-- 1 b20223040323 b20223040323 204 12月  2 15:20 step1.slurm

 。

 

003、gz指定最高压缩率 -9；

(base) [b20223040323@admin2 test]$ ls
SRR1770413_1.fastq  SRR1770413_2.fastq
(base) [b20223040323@admin2 test]$ ll -h
总用量 856M
-rw-rw-r-- 1 b20223040323 b20223040323 428M 12月  2 15:18 SRR1770413_1.fastq
-rw-rw-r-- 1 b20223040323 b20223040323 428M 12月  2 15:18 SRR1770413_2.fastq
(base) [b20223040323@admin2 test]$ find *.fastq | while read i; do gzip -9 $i; done
(base) [b20223040323@admin2 test]$ ls
SRR1770413_1.fastq.gz  SRR1770413_2.fastq.gz
(base) [b20223040323@admin2 test]$ ll -h        ## 压缩没有明显提升
总用量 134M
-rw-rw-r-- 1 b20223040323 b20223040323 67M 12月  2 15:18 SRR1770413_1.fastq.gz
-rw-rw-r-- 1 b20223040323 b20223040323 67M 12月  2 15:18 SRR1770413_2.fastq.gz

 。

 

004、pigz指定最高压缩率-9；

(base) [b20223040323@admin2 test]$ ls
SRR1770413_1.fastq  SRR1770413_2.fastq
(base) [b20223040323@admin2 test]$ ll -h
总用量 856M
-rw-rw-r-- 1 b20223040323 b20223040323 428M 12月  2 15:18 SRR1770413_1.fastq
-rw-rw-r-- 1 b20223040323 b20223040323 428M 12月  2 15:18 SRR1770413_2.fastq
(base) [b20223040323@admin2 test]$ find *.fastq | while read i; do pigz -9 $i; done
(base) [b20223040323@admin2 test]$ ls
SRR1770413_1.fastq.gz  SRR1770413_2.fastq.gz
(base) [b20223040323@admin2 test]$ ll -h
总用量 128M
-rw-rw-r-- 1 b20223040323 b20223040323 67M 12月  2 15:18 SRR1770413_1.fastq.gz
-rw-rw-r-- 1 b20223040323 b20223040323 67M 12月  2 15:18 SRR1770413_2.fastq.gz

 。

 

005、 xz 指定最高压缩率 -9；

(base) [b20223040323@admin2 test]$ ls
SRR1770413_1.fastq  SRR1770413_2.fastq
(base) [b20223040323@admin2 test]$ ll -h
总用量 833M
-rw-rw-r-- 1 b20223040323 b20223040323 428M 12月  2 15:18 SRR1770413_1.fastq
-rw-rw-r-- 1 b20223040323 b20223040323 428M 12月  2 15:18 SRR1770413_2.fastq
(base) [b20223040323@admin2 test]$ find *.fastq | while read i; do xz -9 $i; done
(base) [b20223040323@admin2 test]$ ls
SRR1770413_1.fastq.xz  SRR1770413_2.fastq.xz
(base) [b20223040323@admin2 test]$ ll -h
总用量 44M
-rw-rw-r-- 1 b20223040323 b20223040323 20M 12月  2 15:18 SRR1770413_1.fastq.xz
-rw-rw-r-- 1 b20223040323 b20223040323 25M 12月  2 15:18 SRR1770413_2.fastq.xz

 。

 

总结：这几种针对fastq的压缩，xz -9 压缩效率最高。