在python中如果要將一個文件完全加載到內(nèi)存中，通過file.readlines()即可，但是在文件占用較高時，我們是無法完整的將文件加載到內(nèi)存中的，這時候就需要用到python的file.readline()進(jìn)行迭代式的逐行讀取：
1 2 3 4 5 6 7 8 9 10 | filename = 'hello.txt'with open(filename, 'r') as file: line = file.readline() counts = 1 while line: if counts >= 50000000: break line = file.readline() counts += 1 |
這里我們的實現(xiàn)方式是先用一個with語句打開一個文件，然后用readline()函數(shù)配合while循環(huán)逐行加載，最終通過一個序號標(biāo)記來結(jié)束循環(huán)遍歷，輸出文件第50000000行的內(nèi)容。該代碼的執(zhí)行效果如下：
1 2 3 4 5 | dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py real 0m10.359suser 0m10.062ssys 0m0.296s |
可以看到這里的耗時為10s多一些。
雖然在python的readline函數(shù)中并沒有實現(xiàn)讀取指定行內(nèi)容的方案，但是在另一個庫linecache中是實現(xiàn)了的，由于使用的方式較為簡單，這里直接放上代碼示例供參考：
1 2 3 4 | filename = 'hello.txt'import linecachetext = linecache.getline(filename, 50000000) |
該代碼的執(zhí)行結(jié)果如下：
1 2 3 4 5 | dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py real 0m11.904suser 0m5.672ssys 0m6.231s |
雖然在實現(xiàn)方式上簡化了許多，但是我們發(fā)現(xiàn)這個實現(xiàn)的用時超過了11s，還不如我們自己手動實現(xiàn)的循環(huán)遍歷方案。因此如果是對于性能有一定要求的場景，是不建議采用這個方案的。
我們知道用Linux系統(tǒng)本身自帶的sed指令也是可以獲取到文件指定行或者是指定行范圍的數(shù)據(jù)的，其執(zhí)行指令為：sed -n 50000000p filename即表示讀取文件的第50000000行的內(nèi)容。同時結(jié)合python的話，我們可以在python代碼中執(zhí)行系統(tǒng)指令并獲取輸出結(jié)果：
1 2 3 4 | filename = 'hello.txt'import osresult = os.popen('sed -n {}p {}'.format(50000000, filename)).read() |
需要注意的是，如果直接運行os.system()是沒有返回值的，只有os.popen()是有返回值的，并且需要在尾巴加上一個read()的選項。該代碼的執(zhí)行結(jié)果如下：
1 2 3 4 5 | dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py real 0m2.532suser 0m0.032ssys 0m0.020s |
可以看到直接使用sed指令的執(zhí)行速度很快，但是用這種方法并不是一本萬利的，比如以下這個例子：
1 2 3 4 | filename = 'hello.txt'import osresult = os.popen('sed -n {}p {}'.format(500, filename)).read() |
我們把讀取第50000000行內(nèi)容改為讀取第500行的內(nèi)容，再運行一次程序：
1 2 3 4 5 | dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py real 0m2.540suser 0m0.037ssys 0m0.013s |
然而我們發(fā)現(xiàn)這個速度并沒有因為要讀取的行數(shù)減少了而變少，而是幾乎保持不變的。
本文通過4個測試案例分析了在python中讀取文件指定行內(nèi)容的方案，并得到了一些運行耗時的數(shù)據(jù)。從需求上來說，如果是對于小規(guī)模的數(shù)據(jù)，比如幾百行規(guī)模的數(shù)據(jù)，建議使用readline循環(huán)遍歷來操作，速度也相當(dāng)不錯，或者是linecache中的函數(shù)實現(xiàn)也是可以的，甚至可以直接用readlines將整個文本內(nèi)容加載到內(nèi)存中。但是對于數(shù)據(jù)規(guī)模比較大的場景，比如超過了千萬行的級別，那么使用sed指令的方式對指定行內(nèi)容進(jìn)行讀取的方式，應(yīng)該是所有方式中最快速的。