python批量下载url

今天需要从网上批量下载文件,如果手动下载需要频繁点击很烦人,尝试用 python 批量下载。

问题描述

我要下载的东西,网址都是很有规律的,就是其中的一个数字发生改变而已。手动一个一个点击很烦,就从网上搜索了一下,目前只找到了一种可行的方案^1

很多别的方式我试了不行,但我也不太清楚为什么不行,比如这个 requests 包。

wget 包

首先用 pip 安装这个包,之后的脚本如下。

实际下载的密码只有一行 wget.download(url, path) ,只有两个参数,第一个是网址,第二个是存放路径。如果下载网址有规律的话,使用一个 for 循环就能批量下载了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 批量下载 pdf

import wget

path = 'D:\Desktop'

for i in range(1,20):
if i < 10:
new_i = "0"+str(i) # 如果是单个数字,前面加零
else:
new_i = str(i)

url = f'https://see.stanford.edu/materials/lsocoee364a/transcripts/ConvexOptimizationI-Lecture{new_i}.pdf'
wget.download(url, path)

  • 版权声明: 本博客所有文章除特别声明外,著作权归作者所有。转载请注明出处!
  • Copyrights © 2019-2022 Vincere Zhou
  • 访问人数: | 浏览次数:

请我喝杯茶吧~

支付宝
微信