本地小说生成易因上下文限制导致中断、人设漂移、伏笔遗忘，核心解法有五：一、memgpt分层记忆管理；二、doc-to-lora动态压缩；三、cursor多文件协同工作流；四、deepseek-r1:8b参数调优；五、glm-4-long api辅助校验。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您使用本地部署的大模型生成小说，常遇到输出中断、人设漂移、伏笔遗忘等问题，则很可能是受限于固定上下文窗口与长叙事信息持续累积之间的结构性矛盾。以下是针对该问题的多种技术路径与实操方案：
一、启用分层记忆管理框架（MemGPT）
MemGPT通过模拟人类记忆机制，将信息划分为工作记忆与长期记忆两层，避免全部内容挤占有限上下文空间，实现关键设定的持久化存储与按需召回。
1、安装MemGPT依赖：执行命令 pip install memgpt。
2、初始化项目目录并创建配置文件：运行 memgpt configure，选择向量数据库类型为 chroma 或 qdrant。
3、启动MemGPT代理：输入 memgpt run --agent my-novel-writer，系统将自动加载预设的小说创作角色模板。
4、在交互中手动存档关键信息：当生成完人物小传或世界观设定后，输入 /memory insert [内容] 将其写入长期记忆库。
5、调用已存信息：在后续章节生成前，输入 /memory recall 人物张三，模型将自动注入相关记忆片段至当前上下文。
二、采用Doc-to-LoRA动态上下文压缩技术
该方法不依赖外部数据库，而是将整部小说文档在推理前“物理刻入”模型权重，将数十GB显存占用压缩至50MB以内，并在不到一秒内完成上下文注入，彻底规避传统长文本拼接导致的注意力衰减。
1、准备原始文档：将已完成的前10章小说合并为单个UTF-8编码的 novel_context.txt 文件。
2、下载Doc-to-LoRA工具包：克隆官方仓库 git clone https://github.com/sakana-ai/doc-to-lora。
3、执行上下文嵌入：运行脚本 python embed_doc.py --model deepseek-r1:8b --input novel_context.txt --output lora_novel.bin。
4、加载嵌入权重启动推理：使用Ollama时执行 ollama run --lora lora_novel.bin deepseek-r1:8b。
5、在提示词中声明上下文已加载：以系统消息形式输入 你已完整内化前述小说全文，所有后续生成必须严格遵循其中的人物设定、时间线与伏笔逻辑。
三、构建多文件上下文协同工作流（Cursor方案）
该方案将小说拆解为结构化文件组（如character.md、world.md、chapter_01.md等），由本地工具实时聚合所需片段送入模型上下文，既保持语义完整性，又规避单次输入超限。
1、建立标准目录结构：在项目根目录下创建 /docs/characters、/docs/world、/docs/chapters 三个子目录。
2、编写元数据索引文件：在 /docs/index.json 中定义各章节依赖关系，例如：{"chapter_05": ["character_lys", "world_magic_system"]}。
从零搭建飞书机器人。支持 MiniMax/MiMo 等模型、工具调用（搜索/天气/百科/记忆）、Skill 架构。一站式交付可上线运行的飞书群聊 bot。基础版本，后续可自行升级能力
3、安装并配置Cursor插件：在VS Code中启用 Cursor for LLM 插件，设置其读取 index.json 并自动加载关联文件。
4、生成新章节时触发联动：在编辑 chapter_06.md 时，插件自动将 character_lys.md 与 world_magic_system.md 内容注入当前会话上下文。
5、保存后自动更新索引：每次保存章节文件，插件同步更新 index.json 中的版本号与修改时间戳。
四、调优DeepSeek-R1:8B本地部署参数
针对24GB显卡用户，通过量化+长上下文补丁组合，在不牺牲连贯性的前提下最大化单次输出长度与稳定性。
1、拉取量化模型：执行 ollama pull deepseek-r1:8b-q4_K_M 获取4-bit量化版本。
2、启动服务并扩展上下文：运行命令 OLLAMA_NUM_GPU=1 ollama serve --max-context 65536。
3、配置采样参数防止截断：在请求体中显式设置 {"temperature": 0.3, "top_p": 0.85, "repeat_penalty": 1.15, "num_predict": 4096}。
4、启用流式响应缓冲：在客户端代码中开启 stream=True 并设置接收超时为 120秒，避免因生成延迟触发连接中断。
5、添加章节续写保护指令：在用户消息末尾追加固定后缀 【请严格延续上一章结尾句式，不得插入解释性语句，直接开始新段落】。
五、集成GLM-4-Long API作为辅助记忆锚点
利用其100万token超长上下文能力，将已完成全文作为只读背景知识接入本地流程，承担“全局校验器”角色，不参与主生成，仅用于关键节点一致性核验。
1、注册BigModel平台账号并领取2500万tokens资源包。
2、获取API密钥后，在本地脚本中初始化客户端：client = ZhipuAI(api_key="sk-xxx")。
3、每完成三章生成，自动打包当前全部文本为 full_draft_v3.txt 并上传至临时存储。
4、向GLM-4-Long发起校验请求：构造messages数组，system角色设为 你是一名小说编辑，仅比对前后文逻辑矛盾，不重写、不扩写，user消息为 请检查以下三章是否存在人名不一致、时间线倒置、道具凭空出现三类错误：[全文内容]。
5、解析返回结果中的error字段：若含 "conflict_type": "name_mismatch"，则定位对应段落并高亮标记待人工复核。
