欢迎光临
够嗨才有趣儿

[Python] 一个简单的网页图片爬取下载源码,没啥技术含量,菜鸟可以学习下

关于用到的【cookis】,自己搞定,懂的不用问,问的自己百度去

没啥技术含量,不过新入门的可以学习下

其他的图片站点理论上是可以套用的哈

import requests
import re
import os

#设置登录cookis信息,以爬取需要登录的内容!不设置会报错
cookie = ""
#头信息拼接
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0',
'Connection': 'keep-alive',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Cookie': cookie}
#网页地址前缀
umf='https://umei.fun/posts/'
#get网页次序
geti=1
#设置最大爬取网页次序
getmax=6688
# 判断执行不解释
while (getmax > geti):
    # 拼接网址并获取网页源代码
    umf_url = umf + str(geti)
    html = requests.get(umf_url, headers=header)
    html.encoding = 'utf-8'  # 这一行是将编码转为utf-8否则中文会显示乱码。
    if (html.text != ''):
        # 正则匹配源码获取标题
        tit = re.findall('<div class="row"><h2>(.*?)</h2>', html.text, re.S)
        title = str(tit[0])

        # 正则匹配源码获取图片链接
        img = re.findall("<img src='(.*?)' class='img-fluid' >", html.text, re.S)
        i = 0
        max = len(img)  # 获取最大图片张数以执行判断
        print('次序{}→→→{}:共{}张图片,现下载进程已准备就绪,即将开始下载第{}张图片...'.format(str(geti), title, max, i + 1))
        while (max > i):
            # print(img[i])
            # 将图片文件夹保存在程序文件所在目录的imgase目录下
            folder = 'images/' + title + '/'
            if os.path.exists(folder) == False:  # 判断文件夹是否存在
                os.makedirs(folder)  # 创建文件夹
            # 保存图片至指定的文件夹,并将文件进行命名
            image_name = folder + str(i) + '.jpg'
            url = str(img[i])
            r = requests.get(url)
            with open(image_name, "wb") as code:
                code.write(r.content)
            print('次序{}→→→{}:共{}张图片,现第{}张图片下载完成,即将开始下载第{}张图片...'.format(str(geti), title, max, i + 1, i + 2))
            # 计数器加1,循环进行下一张图片进程
            i = i + 1
        else:
            print("本图集已全数下载完毕,即将开始下一个图集下载程序!")
        # get次序计数器加1,循环进行下一图集进程
        geti = geti + 1
    else:
        print("空数据页面,跳过!")
        geti = geti + 1

else:
    print("设定需要爬取的网页已全数保存完毕!")
赞(2) 打赏
未经允许不得转载:嗨趣儿 » [Python] 一个简单的网页图片爬取下载源码,没啥技术含量,菜鸟可以学习下
分享到: 更多 (0)
嗨趣儿公众号

够嗨才有趣!

福利导航每日福利TOP100

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏