分片技术怎么实现大文件上传？

原创于 2025-10-20 14:17:43 发布 · 653 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#asp.net大文件上传 #asp.net大文件上传下载 #asp.net大文件上传源码 #ASP.NET断点续传 #asp.net上传文件夹 #asp.net上传大文件 #.net core断点续传

北京XX软件公司大文件传输系统技术方案（第一人称视角）

一、技术选型与架构设计

作为项目负责人，我主导设计了基于公司现有技术栈的混合架构方案：

传输层：采用WebSocket+Chunked分片传输（兼容IE8需额外处理）
存储层：阿里云OSS+本地文件系统双存储（支持私有化部署）
加密层：动态密钥管理+SM4/AES可配置加密
前端适配：Vue2/Vue3/React三框架兼容层
后端服务：ASP.NET WebForm（兼容）+ .NET Core双模式

二、核心功能实现方案

1. 断点续传实现（后端C#示例）

// 文件分片接收控制器（.NET Core）
[ApiController]
[Route("api/upload")]
public class FileUploadController : ControllerBase
{
    private readonly IFileStorageService _storageService;
    
    [HttpPost("chunk")]
    public async Task UploadChunk(
        [FromForm] IFormFile fileChunk,
        [FromForm] string fileId,
        [FromForm] int chunkIndex,
        [FromForm] int totalChunks)
    {
        try 
        {
            // 存储分片到临时目录
            var tempPath = Path.Combine("temp", fileId);
            Directory.CreateDirectory(tempPath);
            
            var chunkPath = Path.Combine(tempPath, $"{chunkIndex}.part");
            using (var stream = new FileStream(chunkPath, FileMode.Create))
            {
                await fileChunk.CopyToAsync(stream);
            }
            
            // 更新数据库记录（SQL Server示例）
            await _storageService.UpdateChunkStatus(
                fileId, chunkIndex, totalChunks, Request.Host.Host);
                
            return Ok(new { success = true });
        }
        catch (Exception ex)
        {
            return StatusCode(500, new { error = ex.Message });
        }
    }
}

2. 前端兼容层实现（Vue2示例）

// 文件上传组件（兼容IE8的polyfill方案）
export default {
  data() {
    return {
      fileId: '',
      chunkSize: 5 * 1024 * 1024, // 5MB分片
      supported: !!window.FileReader && !!window.FormData
    }
  },
  methods: {
    async uploadFile(file) {
      if (!this.supported) {
        // IE8降级处理
        this.legacyUpload(file);
        return;
      }

      this.fileId = this.generateFileId();
      const totalChunks = Math.ceil(file.size / this.chunkSize);
      
      // 初始化数据库记录（通过API）
      await this.$api.initUpload({
        fileName: file.name,
        totalSize: file.size,
        totalChunks,
        md5: await this.calculateMD5(file) // 使用spark-md5库
      });

      // 分片上传
      for (let i = 0; i < totalChunks; i++) {
        const start = i * this.chunkSize;
        const end = Math.min(start + this.chunkSize, file.size);
        const chunk = file.slice(start, end);
        
        const formData = new FormData();
        formData.append('fileChunk', chunk);
        formData.append('fileId', this.fileId);
        formData.append('chunkIndex', i);
        formData.append('totalChunks', totalChunks);

        try {
          await this.$http.post('/api/upload/chunk', formData, {
            onUploadProgress: this.updateProgress
          });
        } catch (error) {
          // 自动重试机制
          if (i > 0) i--; 
        }
      }
    },
    
    // IE8兼容上传（使用iframe+form方式）
    legacyUpload(file) {
      const form = document.createElement('form');
      // ...传统表单上传实现
    }
  }
}

3. 加密传输实现方案

// 加密服务类（SM4实现示例）
public class Sm4EncryptionService : IEncryptionService
{
    private readonly byte[] _key;
    private readonly byte[] _iv;
    
    public Sm4EncryptionService(string key)
    {
        // 从配置读取密钥（需符合国密规范）
        _key = HexStringToByteArray(key.PadRight(32, '0').Substring(0, 32));
        _iv = new byte[16]; // SM4 CBC模式IV
    }
    
    public byte[] Encrypt(byte[] plainText)
    {
        using (var sm4 = Sm4.CreateEncryptor(_key, _iv))
        {
            return sm4.TransformFinalBlock(plainText, 0, plainText.Length);
        }
    }
    
    // AES实现类似，通过接口动态切换
}

三、关键问题解决方案

文件夹传输方案：
- 前端递归读取文件夹结构生成JSON元数据
- 将元数据与文件分片关联存储
- 下载时先恢复目录结构再逐个解密文件
高并发下载优化：

# 反向代理配置示例（Nginx）
location /download/ {
    proxy_buffering off;
    aio on;
    directio 4m;
    output_buffers 1 256k;
    sendfile on;
    tcp_nopush on;
}