前言

2025年底公司有个老系统要下线,里面攒了几年的培训素材(视频、音频、文档、图片,几万条记录)都躺在 OSS 上,需要全部爬下来再转存到新的 OSS。量不小,单个视频还有好几个G的,直接写个 for 循环 requests 下载肯定歇菜,于是写了一个比较健壮的爬取脚本。完整代码在:

https://github.com/anTtutu/anttu.code.learn.python/tree/master/oss_download

这篇把思路和关键代码整理下。

1、难点在哪

先说清楚这个活的难点,也是写脚本时所有设计的出发点:

……

阅读全文