我使用requests下载文件,有时候会在网络情况不好的情况下不能完整的下载文件,该如何确保文件被完整的下载?
条件1: 文件的响应头中并没有content-length
,我无法知道文件具体的大小
下载代码如下
r = requests.get(url, stream=True)
with open('test', 'wb') as fd:
for chunk in r.iter_content(1024 * 100):
fd.write(chunk)
网络问题不好重现,我测试的方法是,在本地使用python -m SimpleHTTPServer
搭建服务端,然后用此代码下载大文件,然后手动关闭服务端,此代码并没有引发任何异常成功退出,下载的文件也是不完整的。
我希望这种不正常关闭连接能够触发异常处理,该如何做?
ringa_lee2017-04-18 09:29:20
ダウンロードしたファイルの整合性を確認したいだけの場合は、ループの終了後にファイルの MD5 値を確認できますが、実装ではソース ファイルの MD5 を接続に渡す必要があります。ファイルを作業ディレクトリに追加して、現在のディレクトリ内のすべてのファイルの MD5 値を保存し、それを http://localhost/a.mp4?md5=xx...
などの GET パラメータを通じてリクエストに渡します。