go-zero框架实现海量excel数据异步导出与下载,核心做法是前端发起请求后服务端立即返回任务id,后台通过goroutine或rpc调用执行耗时查询并生成文件,完成后将结果存入minio等对象存储,最后通过轮询接口通知前端下载。具体流程涉及定义包含任务状态的数据库表、使用`go-zero`的rpc服务处理业务逻辑、利用`excelize`库生成文件并上传至存储桶。

如何设计支持异步状态追踪的任务数据结构
在Go-Zero项目中,必须定义一个能够持久化任务进度的结构体,通常映射到MySQL表中。该结构体需包含唯一任务ID、当前状态(如pending, processing, completed, failed)、生成的文件URL以及错误信息。这种设计确保了即使服务重启,前端也能通过任务ID恢复进度或获取最终链接。

package model
type ExportTask struct {
Id int64 `db:"id" json:"id"`
TaskId string `db:"task_id" json:"task_id"`
Status int `db:"status" json:"status"` // 0:pending, 1:processing, 2:completed, 3:failed
FileUrl string `db:"file_url" json:"file_url"`
ErrorMsg string `db:"error_msg" json:"error_msg"`
CreatedAt time.Time `db:"created_at" json:"created_at"`
}
预期结果:数据库中插入一条记录,Status为0,TaskId为UUID格式字符串。后续更新时,Status变为1,处理完成后变为2并填充FileUrl。
如何在RPC层实现大文件生成与存储上传
RPC服务接收到导出请求后,不应直接返回文件流,而应启动一个独立的goroutine执行数据查询和Excel生成。使用`excelize`库创建xlsx文件,由于内存限制,建议采用流式写入或分批查询。生成完毕后,将文件内容上传至MinIO或阿里云OSS,获取公网访问URL,并更新数据库中的任务状态和文件路径。

func (s *Service) ExportData(ctx context.Context, req *pb.ExportRequest) (*pb.ExportResponse, error) {
taskId := uuid.New().String()
// 1. 初始化任务状态
err := s.model.CreateExportTask(taskId, model.StatusPending)
if err != nil {
return nil, err
}
// 2. 异步执行导出任务
go func() {
s.processExport(taskId, req)
}()
// 3. 立即返回任务ID
return &pb.ExportResponse{TaskId: taskId}, nil
}
func (s *Service) processExport(taskId string, req *pb.ExportRequest) {
// 更新状态为处理中
s.model.UpdateStatus(taskId, model.StatusProcessing)
// 模拟大数据量查询与生成
file, err := generateExcel(req)
if err != nil {
s.model.UpdateError(taskId, err.Error())
return
}
// 上传至MinIO
url, err := s.minioClient.Upload(file)
if err != nil {
s.model.UpdateError(taskId, err.Error())
return
}
// 更新状态为完成并保存URL
s.model.UpdateCompleted(taskId, url)
}
预期结果:RPC调用迅速返回,后台goroutine执行耗时操作,MinIO中产生新文件,数据库记录更新。
前端如何根据任务ID轮询获取下载链接
前端在收到任务ID后,需要定期调用状态查询接口。该接口只需读取数据库中的Status和FileUrl字段。当Status为completed时,前端直接使用FileUrl进行下载;若为failed,则提示用户重试。这种轮询机制避免了长连接占用服务器资源,同时保证了用户体验的流畅性。











