「微硬核」下图下到手抽筋?手把手教你用脚本解救你的手

我们时常会在网上浏览网页的时候，看到很多美美的图片。有些时候因为喜欢想保存下来，有些时候因为网页浏览太慢，就想把图片下载到电脑上方便查看。但是，下载图片除非是网站提供了打包下载的功能。否则都是一张张点右键另存为，然后选择保存路径，才能下载下来。

好一点的情况是，一套图片几十张都在一个页面，虽然操作到手抽筋，但好歹一个页面搞定。但，有些每页一个的，就需要打开几十个页面再一个个保存。更何况，面对美美的图片，我们想的是，我！全！要！忙到手抽筋也没法把一个网站的图片全部保存下来啊。

好的，你需要的是一个自动下载图片的工具。网上其实有一些类似工具，但是其实自己写也是非常容易的。本文就是手把手教你写一个下载工具，自由下载，解放双手。

写工具用啥语言？“人生苦短，我用python”，所以当然是python了。

需要预先准备的：

• https://www.python.org/downloads/release/python-375/ 下载python，一般都是windows版本的，现在基本都64位的，所以选择Windows x86-64 executable installer。安装的时候记得选择“add to path”的选项。
• 安装完python，咱们还得装几个方便使用的库，bs4和requests。bs4就是beautifulsoup，解析html的，requests就是方便http请求的。打开powershell，执行下面的命令

pip install bs4 -i https://mirrors.aliyun.com/pypi/simple/
pip install requests -i https://mirrors.aliyun.com/pypi/simple/

为加快安装速度，咱们选用的是pip的国内镜像。 -i https://mirrors.aliyun.com/pypi/simple/就是指定阿里云的pip镜像。

接下来选择一个下载图片的网站，为避免广告导流嫌疑（虽然没啥量），我百度上随便搜了一个，中关村的图片精选页面 http://bbs.zol.com.cn/dcbbs/topic。当然实际大家自己用的肯定是自己要下载图片的页面地址。

好的，下面要开始码了，码之前我们先说说思路。总的来说，就是抓取站点页面，然后把页面html解析之后获取图片地址，再下载图片，保存到本地。难点就是，为了抓取全部页面，我们要解析html的时候，获取当前页面所有的本站地址，依次去请求处理，还得注意排除已经请求过的。

coding begin...

咱们打开自带的edle编辑器，File->New File创建一个新文件，保存为downloader.py。

先加载库

import bs4
import requests
import os
import logging
import urllib.parse
import sys

整个功能咱们划分成几个模块，功能分别如下：

• 请求并解析页面，获取当前页面图片地址和站内链接地址
• 根据上一步返回的站内链接地址，判断是否重复，如果没处理过，则使用上一步的方式处理该链接
• 请求图片地址，读取之后保存到本地

咱们要完成的第一个功能模块就是请求并解析页面的方法，因为功能简单单一，都用函数开发，不采用类。

 headers = {'user-agent': 'image downloader/0.0.1'}

def is_same_domain(base_url,url):
 base_url_parsed = urllib.parse.urlparse(base_url)
 url_parsed = urllib.parse.urlparse(url)
 return base_url_parsed.netloc == url_parsed.netloc

def process_page(url):
 '''
获取url下所有图片以及站内链接
'''
 images = []
 site_urls=[]
 try:
 page_req = requests.get(url, headers=headers)
 if page_req.status_code != 200:
 logging.error(url+' http code: '+str(page_req.status_code))
 return images,site_urls
 page_parsed = bs4.BeautifulSoup(page_req.text, 'html.parser')
 images = [ img.attrs['src'] for img in page_parsed.find_all('img')]
 site_urls= [ a.attrs['href'] for a in page_parsed.find_all('a') if 'href' in a.attrs and is_same_domain(url,a.attrs['href'])]
 logging.info("processed "+url)
 return images,site_urls
 except Exception as e:
 logging.error(url+' '+str(e))
 return images,site_urls

工具函数is_same_domain判断解析的网页地址是否和当前处理的地址是一个域名。process_page返回的是两个list，一个是当前页面所有的图片地址，第二个是当前页面所有的站内链接。图片不需要判断是否本域名，因为图片一般会用专门的服务器，或者cdn，域名不同是很正常的事情。

接下来是根据页面获取的图片地址，抓取图片保存到本地的模块。

def store_image(save_path, img_url):
 '''
将地址为img_url的图片保存到save_path目录下。
'''
 img_url_parsed = urllib.parse.urlparse(img_url)
 try:
 img_path = save_path+'/'+os.path.dirname(img_url_parsed.path).strip('/').replace('/','_')
 img_file_path = img_path + '/' + os.path.basename(img_url_parsed.path)
 img_req = requests.get(img_url, headers=headers)
 if img_req.status_code != 200:
 logging.error(img_url+' http code: '+str(img_req.status_code))
 return False
 if len(img_req.content)< 100*1024:
 logging.warning(img_url+" too small")
 return True
 if not os.path.exists(img_path):
 os.makedirs(img_path)
 with open(img_file_path,"wb") as fp:
 fp.write(img_req.content)
 logging.info("saved "+img_url)
 except Exception as e:
 logging.error(img_url+' '+str(e))

函数store_image将图片保存到指定的路径save_path下，如果目录不存在，会自动创建，这里过滤掉了大小在100k以下的图片。这里为了简化，减少了图片的目录深度，原地址里面的路径都会转化为下划线分隔的一个目录，使得多级目录简化为一级。

再加个控制函数就大功告成了。

def site_download(url,save_path):
 visited_url = {}
 stored_img = {}
 to_visit = [url]
 while len(to_visit)>0:
 url = to_visit.pop()
 imgs,urls = process_page(url)
 visited_url[url]=1
 for img in imgs:
 if img not in stored_img:
 stored_img[img]=1
 store_image(save_path,img)
 for u in urls:
 if u not in visited_url:
 to_visit.append(u)

site_download接收传入的起始地址和图片保存路径，然后递归处理所有页面以及子页面，并判断是否处理过。这里简化了处理，都用map去表示是否访问过，因为一般几十万上百万的页面，应该不会占用太多内存。

加个脚本执行的入口就可以了

if __name__=="__main__":
 if len(sys.argv) < 3:
 print("usage: python downloader.py site_url img_path")
 sys.exit(1)
 site_download(sys.argv[1],sys.argv[2])

使用方法就是 python downloader.py 网站路径 图片保存路径

好的，早已按捺不住了，赶紧来跑一跑吧。

日志好多，大部分警告和错误都是无用的日志，比如https证书有问题的，网页太久失效的，以及大部分都是图片太小的。

我执行参数里面，图片保存路径是当前目录下的images目录，打开看看。

嗯哼，全部到碗里来了。

注意一点，这种访问方式对服务器负载比较高，有些网站会封掉高频访问的ip的，所以注意在访问时可以适量sleep降低频率。

另外脚本会遍历网站有链接的所有页面，所以比较慢，慢慢等着吧。

最后，本文给出的只是一个抓取网站内容的代码框架，能完成基本工作，但是很简单，没有处理各种可能的异常，没有细致地处理页面。有兴趣的同学可以自己根据需求增加细节完善，比如sleep降频，比如根据网页内容把同一篇文章的图片聚合，比如根据网页结构只抓取其中感兴趣的区域的图片等等。