python批量下载url

2021-12-26

数据分析 / python

字数统计: 283 | 阅读时长≈ 1 分钟

今天需要从网上批量下载文件，如果手动下载需要频繁点击很烦人，尝试用 python 批量下载。

问题描述

我要下载的东西，网址都是很有规律的，就是其中的一个数字发生改变而已。手动一个一个点击很烦，就从网上搜索了一下，目前只找到了一种可行的方案^[1]。

很多别的方式我试了不行，但我也不太清楚为什么不行，比如这个 requests 包。

wget 包

首先用 pip 安装这个包，之后的脚本如下。

实际下载的密码只有一行 wget.download(url, path) ，只有两个参数，第一个是网址，第二个是存放路径。如果下载网址有规律的话，使用一个 for 循环就能批量下载了。

# 批量下载 pdf

import wget

path = 'D:\Desktop'

for i in range(1,20):
    if i < 10:
        new_i = "0"+str(i) # 如果是单个数字，前面加零
    else:
        new_i = str(i)
      
    url = f'https://see.stanford.edu/materials/lsocoee364a/transcripts/ConvexOptimizationI-Lecture{new_i}.pdf'
    wget.download(url, path)

1.https://blog.csdn.net/sinat_38682860/article/details/114438555 ↩

版权声明： 本博客所有文章除特别声明外，著作权归作者所有。转载请注明出处！