首页 > 其他分享> 文章详细

openresty中http请求body数据过大的处理方案

2020-04-25 14:07:36 阅读：769 来源： 互联网

标签：body http local args client openresty ngx size

项目中由于数据过大，在openresty中使用

ngx.req.read_body()
local args = ngx.req.get_body_data()

然后flink任务中的消费者Consumer拿到的数据是body部分是空数据，其他数据是正常的，推断是文件大小受限，导致拿不到数据。

1、排查1，检查nginx的配置，查看是否有对文件的限制，ngxin中使用了

可以确定，nginx对文件没有限制，

然后继续下一步跟踪，由于下一步的处理是转到openresty处理，所以大概率是openresty的问题了，查看openresty最佳实践发现：

client_max_body_size
client_max_body_size 默认 1M，表示客户端请求服务器最大允许大小，在“Content-Length”请求头中指定。如果请求的正文数据大于client_max_body_size，HTTP协议会报错 413 Request Entity Too Large。就是说如果请求的正文大于client_max_body_size，一定是失败的。如果需要上传大文件，一定要修改该值。

client_body_buffer_size
Nginx分配给请求数据的Buffer大小，如果请求的数据小于client_body_buffer_size直接将数据先在内存中存储。如果请求的值大于client_body_buffer_size小于client_max_body_size，就会将数据先存储到临时文件中，在哪个临时文件中呢？
client_body_temp 指定的路径中，默认该路径值是/tmp/.
所以配置的client_body_temp地址，一定让执行的Nginx的用户组有读写权限。否则，当传输的数据大于client_body_buffer_size，写进临时文件失败会报错。

处理办法：

在这个问题上和语言就相关了，如果使用的是PHP，PHP会自己将临时文件读取出来，放置到请求数据里面，这是没有问题的，开发者也不需要关心。肯定是完整的数据。
如果使用的openresty lua 开发的话，就需要开发者自己读取出来，让后续的逻辑使用。

location /xx/xx/xx/xx {
        # 响应正常，内容为空
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        empty_gif;
        client_max_body_size 50m;
        client_body_buffer_size 10m;

        content_by_lua_block{

        local topic = ""
        local cjson = require "cjson"
        local producer = require "resty.kafka.producer"
        -- 定义kafka broker地址，ip需要和kafka的host.name配置一致
        local broker_list = {
                { host = "", port = },
                { host = "", port = },
                { host = "", port = }
        }
        -- 定义json便于日志数据整理收集
        local data_json = {}
        ngx.req.read_body()
        local args = ngx.req.get_body_data()
        if nil == args then
                local temp_file_name = ngx.req.get_body_file()
                ngx.log(ngx.ERR, "Body data in temp file: ", temp_file_name)
                if temp_file_name then
                        local f = assert(io.open(file_name, 'r'))
                        local body_data = f:read("*all")
                        f:close()
                        args =  body_data
                        ngx.log(ngx.ERR, "Body: ", args)
                end
         end

        -- ngx.log(ngx.ERR, "kafka receive msg:", args)
        data_json["body"] = ngx.encode_base64(args)
        data_json["u_time"] = ngx.now() * 1000
        -- 转换json为字符串
        local message = cjson.encode(data_json);
        -- ngx.log(ngx.ERR, "args:", message)
        -- 定义kafka异步生产者
        local bp = producer:new(broker_list, { producer_type = "async" })
        -- 发送日志消息,send第二个参数key,用于kafka路由控制:
        -- key为nill(空)时，一段时间向同一partition写入数据
        -- 指定key，按照key的hash写入到对应的partition
        local ok, err = bp:send(topic, nil, message)

        if not ok then
                 ngx.log(ngx.ERR, "kafka enter msg:", args)
                 return
            end
        }
   }

总结
传输的数据大于client_max_body_size，一定是传不成功的。小于client_body_buffer_size直接在内存中高效存储。如果大于client_body_buffer_size小于client_max_body_size会存储临时文件，临时文件一定要有权限。
如果追求效率，就设置 client_max_body_size client_body_buffer_size相同的值，这样就不会存储临时文件，直接存储在内存了。

标签：body,http,local,args,client,openresty,ngx,size
来源： https://www.cnblogs.com/gxyandwmm/p/12772831.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

openresty中http请求body数据过大的处理方案