Python 读取 .gz 文件全过程

Python 读取 .gz 文件

读取.gz 文件需要使用gzip 包，如果没有安装可以自行在终端安装

pip install gzip

import gzip
path = "" #你的文件路径
f = gzip.open(path, 'rb')
 
for line in f.readlines(): # 按行进行读取
    s = line.decode() # 读取之后要进行解码
    print(s) # s 为string类型，就是我们读取的文件中的一行

也可以批量读取，批量读取文件使用os包对文件夹中的所有文件进行

import gzip
import os\
 
path = "" #表示你要打开的文件夹
files = os.listdir(path) #files 是path中存放的所有文件名集合
for file in files:
    f = gzip.open(path+file, 'rb')
    for line in f.readline():
        print(line)

Python 读取gz文件，字符串与字节串的相互转换

首先是字节串转字符串，也就是str：

b = b'some byte array'
 
str(b, encoding = "utf-8")  
#or
bytes.decode(b)

然后是字符串转为字节串：

s = 'some string'
 
bytes(s, encoding = "utf8")  
#or
str.encode(s)

fastq.gz文件读取

with gzip.open(fq,'r') as fastq:
    try:
        while True:
            line1 = next(fastq).decode()  # 字节转字符串
            line2 = next(fastq).decode()
            line3 = next(fastq).decode()
            line4 = next(fastq).decode()
            
    except:
            pass

以上为个人经验，希望能给大家一个参考，也希望大家多多支持编程宝库。

注：代码用 jupyter notebook跑的，分割线线上为代码，分割线下为运行结果1.导入库生成缺失值通过pandas生成一个6行4列的矩阵，列名分别为'col1' ...