Python爬虫后获取重定向url的两种方法
(编辑:jimmy 日期: 2024/11/2 浏览:3 次 )
下面给大家分享Python爬虫后获取重定向url的两种方法,具体内容如下所示;
方法(一)
# 获得重定向url from urllib import request # https://zhidao.baidu.com/question/681501874175782812.html url = "https://www.baidu.com/link" print(request.urlopen(url).geturl())
方法(二)
# 请求头,这里我设置了浏览器代理 headers = headers = {'User-Agent': 'xx'} # 这里chrome的user-agent获取方式:在浏览器地址栏输入 about://version 即可得到结果 url = "https://www.baidu.com/link" # 请求网页 response = requests.get(url, headers=headers) # print(response.status_code) # 打印响应的状态码 print(response.url) # 打印重定向后的网址 # 两个结果都是:https://zhidao.baidu.com/question/681501874175782812.html
下一篇:详解Python爬虫爬取博客园问题列表所有的问题