首页 新闻页 爬虫如何爬取糗事百科搞笑图片的

爬虫如何爬取糗事百科搞笑图片的

本文关键词:糗事百科,河马爬虫代理

糗事百科里面高效的段子和图片可真是不少。想看更多吗?今天我们就来看看,爬虫是怎么帮助你看到更多百科搞笑的图片的,选择热图,右键检查,查找我们需要爬取的内容位置。

代码如下:

import os

import requests

import re

def get_img_url(page_content):

s = r'src="(.+?.jpg)"'

return re.findall(s,page_content)

xiubai_url = r'http://www.qiushibaike.com/imgrank/'

pic_list = get_img_url(requests.get(xiubai_url).content)

#print pic_list

i = 0

for pic_url in pic_list:

fd = open(str(i) + '.jpg','w+')

print fd

pic = requests.get('http:' + pic_url)

if pic.status_code is not 200:

fd.close()

continue

else:

fd.write(pic.content)

i += 1

fd.close()

通过以上代码,我们就可以获取到糗事百科的搞笑图片了。河马爬虫代理,智能链路优质IP线路,最优化资源使用、最大化吞吐率、最小化响应时间,保护用户的隐私信息,实现100%高匿。