Go 中使用 mgo 实现高效分页查询（聚合多嵌套数组场景）-Golang-PHP中文网

Go 中使用 mgo 实现高效分页查询（聚合多嵌套数组场景）

本文介绍如何在 go + mongodb（mgo 驱动）+ beego 框架下，针对员工文档中分散在多个嵌套数组（如 annualleave、medicalleave 等）的请假数据，实现跨文档、跨数组的全局分页查询，避免全量加载与内存拼接，显著提升性能。

本文介绍如何在 go + mongodb（mgo 驱动）+ beego 框架下，针对员工文档中分散在多个嵌套数组（如 annualleave、medicalleave 等）的请假数据，实现跨文档、跨数组的全局分页查询，避免全量加载与内存拼接，显著提升性能。

在实际业务中，当员工请假数据以嵌套数组形式（如 AnnualLeave、MedicalLeave、NopayLeave 等）存储于单个 Employee 文档内时，若需按 applieddate 和 status 全局排序并分页（例如每页 20 条），直接在应用层遍历所有员工、展开所有 leave 数组、合并排序再切片——这种做法存在严重性能瓶颈：每次请求都需加载全部员工及全部请假记录，内存与 CPU 开销随数据增长线性上升，且无法利用 MongoDB 索引加速。

根本解法：重构数据模型，实现「扁平化 + 关系化」存储

MongoDB 的分页能力（Skip()/Limit()）和排序（Sort()）仅对集合级文档生效。因此，必须将原本嵌套在 Employee 文档中的各类 leave 数据，提取为独立的 Leave 集合，并建立清晰的归属关系：

// 独立的 Leave 模型（推荐统一结构）
type Leave struct {
    ID           bson.ObjectId `bson:"_id,omitempty"`
    EmpID        string        `bson:"empid"`          // 关联员工唯一标识（非 _id，而是 empid 字段）
    Name         string        `bson:"name"`           // 员工姓名（冗余，便于查询无需 join）
    Type         string        `bson:"type"`           // "annual", "medical", "nopay", "childcare" 等
    Total        float64       `bson:"total,omitempty"`
    Days         float64       `bson:"days"`
    From         time.Time     `bson:"from"`
    To           time.Time     `bson:"to"`
    AppliedDate  time.Time     `bson:"applieddate"`
    Status       string        `bson:"status"`
    Certificate  []Certificate `bson:"certificate"`
}

type Certificate struct {
    Filename string `bson:"filename"`
    Filetype string `bson:"filetype"`
    Filesize int64  `bson:"filesize"`
}

✅ 关键设计优势：

所有请假记录扁平化为 leaves 集合中的独立文档；
EmpID 字段作为外键，支持快速按员工过滤；
Type 字段保留原始分类语义；
AppliedDate 和 Status 可建立复合索引，支撑高效排序分页。

创建高效索引（必需步骤）

在 MongoDB Shell 或初始化脚本中执行：

// 支持「全局分页」：按申请时间倒序 + 状态升序
db.leaves.createIndex({ "applieddate": -1, "status": 1 })

// 支持「某员工分页」：先定位员工，再按时间/状态排序
db.leaves.createIndex({ "empid": 1, "applieddate": -1, "status": 1 })

Go 后端分页查询实现（mgo）

import (
    "gopkg.in/mgo.v2"
    "gopkg.in/mgo.v2/bson"
)

// 分页查询所有请假记录（全局）
func GetAllLeavesPaginated(session *mgo.Session, page, pageSize int) ([]Leave, error) {
    c := session.DB("").C("leaves")
    skip := (page - 1) * pageSize

    var results []Leave
    err := c.Find(nil).
        Sort("-applieddate", "status"). // 注意：-applieddate 表示降序
        Skip(skip).
        Limit(pageSize).
        All(&results)
    return results, err
}

// 分页查询某员工的请假记录
func GetLeavesByEmpIDPaginated(session *mgo.Session, empID string, page, pageSize int) ([]Leave, error) {
    c := session.DB("").C("leaves")
    skip := (page - 1) * pageSize

    var results []Leave
    err := c.Find(bson.M{"empid": empID}).
        Sort("-applieddate", "status").
        Skip(skip).
        Limit(pageSize).
        All(&results)
    return results, err
}

⚠️ 重要注意事项：

Skip 性能警告：Skip(N) 在大数据集（如百万级）下会扫描前 N 条文档，效率随页码增大而急剧下降。生产环境建议改用 基于游标的分页（Cursor-based Pagination），即记录上一页最后一条的 (applieddate, status, _id) 作为下一页查询条件：

// 示例：查询“比上一页最后一条更新或同时间但状态更靠前”的下 20 条
c.Find(bson.M{
    "$or": []bson.M{
        {"applieddate": bson.M{"$lt": last.AppliedDate}},
        {"applieddate": last.AppliedDate, "status": bson.M{"$lt": last.Status}},
        {"applieddate": last.AppliedDate, "status": last.Status, "_id": bson.M{"$gt": last.ID}},
    },
}).Sort("-applieddate", "status").Limit(20).All(&results)

迁移策略：已有数据需通过脚本一次性迁移。可使用 mgo 的 Pipe() 聚合管道（$unwind + $project）从 employees 集合中抽取 leave 数据写入 leaves 集合。
Beego 集成：在 Controller 中调用上述函数，将 page 和 pageSize 从 HTTP Query 参数解析，返回 JSON 响应即可。