netcore 上传大文件需要注意的地方总结

 

https://www.cnblogs.com/ydchw/p/10840198.html

 

1. 超时问题（timeout）

这个和NetCore无关，是ajax请求忘记设置timeout参数值，在网页端加上即可。

2. Request body too large 错误

Post的body大概超过30m就会报这个错误，完整的错误是Microsoft.AspNetCore.Server.Kestrel.Core.BadHttpRequestException: Request body too large
解决的方法有二种，一种是在请求的函数前加Attribute

[HttpPost("upload")]
[RequestSizeLimit(100_000_000)] //最大100m左右
//[DisableRequestSizeLimit]  //或者取消大小的限制
public async Task<string> UploadFiles(ModelTest test)
{

还有一种方法是全局增加请求body的大小或者不限body的大小。

public static IWebHost BuildWebHost(string[] args)
{
    var config = new ConfigurationBuilder()
    .AddCommandLine(args)
    .Build();
    return WebHost.CreateDefaultBuilder(args).UseConfiguration(config)
        .UseStartup<Startup>().UseKestrel(options =>
        {
          //所有controller都不限制post的body大小
            options.Limits.MaxRequestBodySize = null;
        })
        .Build();
}

3. Multipart body length limit 134217728 exceeded错误

Post的body大概超过100多M会碰到这个错误，完整的错误信息是 System.IO.InvalidDataException: Multipart body length limit 134217728 exceeded. 。
解决的方法是在startup.cs添加代码：

public void ConfigureServices(IServiceCollection services)
{
    services.AddMvc();
    //解决Multipart body length limit 134217728 exceeded
    services.Configure<FormOptions>(x =>
    {
        x.ValueLengthLimit = int.MaxValue;
        x.MultipartBodyLengthLimit = int.MaxValue; // In case of multipart
    });
}

4. Nginx限制上传大小的错误

通过Nginx端口映射，请求会先经过Nginx，也需要额外再设置一个参数client_max_body_size，否则上传大文件也会有问题

location ^~ /sample2/ {
    rewrite  ^/sample2/(.*)$ /$1 break;          
    proxy_pass http://localhost:5556;
    client_max_body_size    300m; #最大接受300m文件以内的
}

5. 上传七牛大文件问题

使用七牛的SDK上传一般小文件很简单，但是上传大文件就需要使用分片上传了，否则会返回错误-256错误
以下是正常上传和分片上传的2个函数，大家可以参考

//适应一般小文件
public HttpResult uploadByte(string saveKeys, byte[] data)
{
      Config.AutoZone(AK, bucket, false);
      Mac mac = new Mac(AK, SK);
      string saveKey = saveKeys;
      PutPolicy putPolicy = new PutPolicy();
      // 如果需要设置为"覆盖"上传(如果云端已有同名文件则覆盖)，请使用 SCOPE = "BUCKET:KEY"
      putPolicy.Scope = bucket + ":" + saveKey;
      //putPolicy.Scope = bucket;
      // 上传策略有效期(对应于生成的凭证的有效期)          
      putPolicy.SetExpires(100000);
      string jstr = putPolicy.ToJsonString();
      string token = Auth.CreateUploadToken(mac, jstr);
      FormUploader fu = new FormUploader();
      HttpResult result = fu.UploadData(data, saveKey, token);
      return result;

}
//适用于大文件上传
public HttpResult UploadBigFile(string saveKeys, byte[] data)
{
      Config.AutoZone(AK, bucket, false);
      // 这个示例单独使用了一个Settings类，其中包含AccessKey和SecretKey
      // 实际应用中，请自行设置您的AccessKey和SecretKey
      Mac mac = new Mac(AK, SK);
      // 断点记录文件，可以不用设置，让SDK自动生成，如果出现续上传的情况，SDK会尝试从该文件载入断点记录
      // 对于不同的上传任务，请使用不同的recordFile
      PutPolicy putPolicy = new PutPolicy();
      // 如果需要设置为"覆盖"上传(如果云端已有同名文件则覆盖)，请使用 SCOPE = "BUCKET:KEY"
      putPolicy.Scope = bucket + ":" + saveKeys;
      //putPolicy.Scope = bucket;
      // 上传策略有效期(对应于生成的凭证的有效期)          
      putPolicy.SetExpires(100000);
      string token = Auth.CreateUploadToken(mac, putPolicy.ToJsonString());
      // 包含两个参数，并且都有默认值
      // 参数1(bool): uploadFromCDN是否从CDN加速上传，默认否
      // 参数2(enum): chunkUnit上传分片大小，可选值128KB,256KB,512KB,1024KB,2048KB,4096KB
      ResumableUploader ru = new ResumableUploader(false, ChunkUnit.U1024K);
      // ResumableUploader.UploadFile有多种形式，您可以根据需要来选择
      //
      // 最简模式，使用默认recordFile和默认uploadProgressHandler
      // UploadFile(localFile,saveKey,token)
      // 
      // 基本模式，使用默认uploadProgressHandler
      // UploadFile(localFile,saveKey,token,recordFile)
      //
      // 一般模式，使用自定义进度处理(可以监视上传进度)
      // UploadFile(localFile,saveKey,token,recordFile,uploadProgressHandler)
      //
      // 高级模式，包含上传控制(可控制暂停/继续 或者强制终止)
      // UploadFile(localFile,saveKey,token,recordFile,uploadProgressHandler,uploadController)
      // 
      // 支持自定义参数
      //var extra = new System.Collections.Generic.Dictionary<string, string>();
      //extra.Add("FileType", "UploadFromLocal");
      //extra.Add("YourKey", "YourValue");
      //uploadFile(...,extra,...)
      //最大尝试次数(有效值1~20)，在上传过程中(如mkblk或者bput操作)如果发生错误，它将自动重试，如果没有错误则无需重试
      int maxTry = 10;
      // 使用默认进度处理，使用自定义上传控制            
      UploadProgressHandler upph = new UploadProgressHandler(ResumableUploader.DefaultUploadProgressHandler);
      HttpResult result = ru.UploadData(data, saveKeys, token, upph);
      return result;
}

- 问题描述
在IIS上部署一个可以接受文件上传的netCore WebApi，使用`Http`验证时没有任何问题，使用`SSL`后；通过微信小程序Post文件流，就会导致异常：`未显示页面 因为请求实体过大`的413 错误；但是在 Chrome 内核的微信小程序编辑工具中，则不存在该问题。
- 问题原因
客户端发起一个请求后，IIS会收到足以解析请求标头的数据，但不会收到整个请求实体正文，如果发现需要客户端证书时，将尝试重新协商连接；但此时客户端正等待向IIS发送请求中的其余数据。因此，如果让客户端能接受重新协商，则必须使用SSL预加载功能预加载请求实体正文，此时则可能引起默认设置值`UploadReadAheadSize`长度太小的问题。
- 解决方案
第一步：
进入 `cd C:\Windows\System32\Inetsrv` 目录执行命令行

appcmd.exe list config -section:system.webServer/serverRuntime // 查看当前设置的 UploadReadAheadSize 大小（byte）
appcmd.exe set config -section:system.webServer/serverruntime /uploadreadaheadsize:20480000  // 这个要设置够大

第二步

还需要在web.config文件中更改上传文件的大小

在创建的项目里面是没有 “web.config” 文件的。

上传大文件时需要配置下文件的大小，需要在 “config” 文件里配置。创建一个或复制一个 “web.config”

1 2 3 4 5 6 7 8 9 10 11 12

<?xml version="1.0" encoding="utf-8" ?> <configuration>   <system.webServer>     <security>       <requestFiltering>         <!--单位：字节。 -->         <requestLimits maxAllowedContentLength="1073741824" />         <!-- 1 GB -->       </requestFiltering>     </security>   </system.webServer> </configuration>