Python发送form-data请求及拼接form-data内容的方法
(编辑：jimmy 日期: 2024/11/29 浏览：3 次 )
网上关于使用python 的发送multipart/form-data的方法，多半是采用
ulrlib2 的模拟post方法，如下：
import urllib2
boundary='-------------------------7df3069603d6'
data=[]
data.append('--%s' % boundary)
data.append('Content-Disposition: form-data; name="app_id"\r\n')
data.append('xxxxxx')
data.append('--%s' % boundary)
data.append('Content-Disposition: form-data; name="version"\r\n')
data.append('xxxxx')
data.append('--%s' % boundary)
data.append('Content-Disposition: form-data; name="platform"\r\n')
data.append('xxxxx')
data.append('--%s' % boundary)
data.append('Content-Disposition: form-data; name="libzip"; filename="C:\Users\danwang3\Desktop\libmsc.zip"')
data.append('Content-Type: application/octet-stream\r\n')
fr=open('C:\Users\danwang3\Desktop\libmsc.zip')
content=fr.read()
data.append(content)
print content
fr.close()
data.append('--%s--\r\n'%boundary)
httpBody='\r\n'.join(data)
print type(httpBody)
print httpBody
postDataUrl='http://xxxxxxxx'
req=urllib2.Request(postDataUrl,data=httpBody)
经过测试，使用上述方法发送一段二进制文件的时候，服务器报错，数据有问题！
问题就出在 '\r\n'.join(data)的编码，data内部拥有二进制数据，通过这种编码，可能是把数据转换为utf-8格式，当然有问题。
搜索了很多资料，查到可以使用requests库提交multipart/form-data 格式的数据
一个multipart/form-data 的表单数据，在http里面抓包如下：
#Content-Disposition: form-data;name="app_id" 123456 #-----------------------------7df23df2a0870 #Content-Disposition: form-data;name="version" 2256 -----------------------------7df23df2a0870 Content-Disposition:form-data; name="platform" ios -----------------------------7df23df2a0870 Content-Disposition: form-data;name="libzip";filename="C:\Users\danwang3\Desktop\libmsc.zip" Content-Type: application/x-zip-compressed
<二进制文件数据未显示>
---------------------------7df23df2a0870—
上述数据在requests里面可以模拟为：
files={'app_id':(None,'123456'),
'version':(None,'2256'),
'platform':(None,'ios'),
'libzip':('libmsc.zip',open('C:\Users\danwang3\Desktop\libmsc.zip','rb'),'application/x-zip-compressed')
}
发送上述post请求，也就是简单的
response=requests.post(url,files=files)
就这么简单
在官方网站上，requests模拟一个表单数据的格式如下：
files = {'name': (<filename>, <file object>,<content type>, <per-part headers>)}
这一行模拟出来的post数据为：
Content-Disposition: form-data; name='name';filename=<filename> Content-Type: <content type> <file object> --boundary
如果filename 和 content-Type不写，那么响应模拟post的数据就不会有二者。
通常使用requests 不像使用urllib2那样可以自动管理cookie，不过如果获取到cookie
可以在requests请求里面一并将cookie发送出去
requests使用的cookie格式如下：
newCookie={}
newCookie['key1']='value1'
newCookie['key2]='value2'
newCookie['key3']='value3'
发送cookie可以使用：
response=requests.post(url,cookies=newCookie)
这样就可以了
拼接form-data的post内容
#!\urs\bin\env python
#encoding:utf-8 #设置编码方式
from http2 import http
import urllib
def ReadFileAsContent(filename):
#print filename
try:
with open(filename, 'rb') as f:
filecontent = f.read()
except Exception, e:
print 'The Error Message in ReadFileAsContent(): ' + e.message
return ''
return filecontent
def get_content_type(filename):
import mimetypes
return mimetypes.guess_type(filename)[0] or 'application/octet-stream'
def isfiledata(p_str):
import re
r_c = re.compile("^f'(.*)'$")
rert = r_c.search(str(p_str))
#rert = re.search("^f'(.*)'$", p_str)
if rert:
return rert.group(1)
else:
return None
def encode_multipart_formdata(fields):
'''''
该函数用于拼接multipart/form-data类型的http请求中body部分的内容
返回拼接好的body内容及Content-Type的头定义
'''
import random
import os
BOUNDARY = '----------%s' % ''.join(random.sample('0123456789abcdef', 15))
CRLF = '\r\n'
L = []
for (key, value) in fields:
filepath = isfiledata(value)
if filepath:
L.append('--' + BOUNDARY)
L.append('Content-Disposition: form-data; name="%s"; filename="%s"' % (key, os.path.basename(filepath)))
L.append('Content-Type: %s' % get_content_type(filepath))
L.append('')
L.append(ReadFileAsContent(filepath))
else:
L.append('--' + BOUNDARY)
L.append('Content-Disposition: form-data; name="%s"' % key)
L.append('')
L.append(value)
L.append('--' + BOUNDARY + '--')
L.append('')
body = CRLF.join(L)
content_type = 'multipart/form-data; boundary=%s' % BOUNDARY
return content_type, body
其中需要注意的是文件数据的字典值，其格式为f'/path/to/file'，具体调用的形式如下：
form_data = [('gShopID','489'),("addItems", r"f'D:\case3guomei.xml'"), ('validateString', '92c99a2a36f47c6aa2f0019caa0591d2')]
form_data_re = encode_multipart_formdata(form_data)
print form_data_re
返回的内容是一个元组，第一个参数是请求头中Content-Type的值，第二个是具体post的内容。然后使用httplib的post方法就可以发送了。
下一篇：Python多线程爬虫简单示例