dify可自动从ct报告pdf、手写病程图或语音转文字会诊纪要中提取诊断结论、用药建议和随访时间点;需用脱敏多模态样本(扫描pdf/手写jpeg/混排docx),英文命名,≤80mb,配置ocr+layoutlmv3或paddleocr双路径,定义正则字段规则并注入umls知识图谱,最后通过指标校验与人工抽检确保准确性。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

你需要从扫描的CT报告PDF、手写病程记录图片或语音转文字的会诊纪要中自动提取诊断结论、用药建议和随访时间点,而不是手动复制粘贴——Dify能帮你把杂乱无章的原始医疗文本变成结构化字段。
准备合规的医学文档样本
从本地文件夹中挑选3~5份真实脱敏的医学报告,必须包含至少一种非结构化形态:扫描PDF(带倾斜/模糊)、带手写批注的JPEG截图、或含表格与段落混排的DOCX。不要用纯文本测试,否则无法触发Dify的多模态解析路径。
将所有文件统一重命名为英文+数字组合,例如report_ct_001.pdf、note_surgery_02.jpg。中文文件名会导致OCR引擎在Linux容器内解析失败,【这是Dify 0.12.3版本已知缺陷】。
确认每份文件大小不超过80MB。超过此阈值的DICOM影像报告会被跳过OCR阶段,直接进入文本提取失败流程。
配置双模解析流水线
登录Dify控制台 → 进入「知识库」→ 点击「新建知识库」→ 在「数据接入方式」中选择「上传文件」。
方法一:启用自动OCR+LayoutLMv3版面理解
勾选「启用高精度版面分析」→ 在下拉菜单中选择「medical-report-v2」预设模板 → 上传前勾选「保留原始图像坐标信息」。该模板内置了对放射科术语、手写体“↑↓→”箭头符号、以及检验单表格线的识别规则。
方法二:强制走OCR路径(适用于扫描件模糊、文字粘连场景)
上传文件后,在知识库设置页点击「高级解析选项」→ 将「文本提取优先级」拖至最右端「OCR Only」→ 手动指定OCR引擎为「PaddleOCR + 中文医疗增强词典」。这一步绕过直接文本提取,避免因PDF元数据损坏导致空内容入库。
注意:若报告含患者签名区域,需提前在「内容清洗引擎」中启用「手写签名区域屏蔽」,否则签名笔迹会被误识别为异常临床体征描述。
定义医学实体抽取规则
第一步:进入知识库 → 点击「字段映射」→ 新建结构化Schema。
第二步:添加以下必填字段:
• diagnosis(类型:字符串,启用正则校验 ^[A-Z][a-z]+(?:\s+[A-Z][a-z]+)*$)
• follow_up_date(类型:日期,格式:YYYY-MM-DD,允许相对表达式如“7天后”)
• prescribed_drugs(类型:数组,每个元素启用嵌套JSON Schema校验)
第三步:在「实体识别规则」中粘贴医疗NER正则集:
诊断关键词组:(脑梗死|II型糖尿病|慢性阻塞性肺疾病|急性阑尾炎)
时间短语模式:(\d+天后|\d+周内|术后\d+小时|下次复诊.*)
药物命名规范:([^\s,。;]+?(片|胶囊|注射液|粉针剂))
第四步:点击「测试规则」,上传一份样例报告PDF,观察右侧实时解析预览窗中各字段是否被准确高亮。若“follow_up_date”未捕获“1周后”,说明正则未覆盖口语化表达,需追加(\d+周[后内]|一周.*)分支。
注入临床知识图谱上下文
在应用Prompt编辑器中,将UMLS语义网络中的关系三元组以YAML格式注入:
```yaml
clinical_context:
- entity: "高血压"
relations: ["is_a", "chronic_disease", "requires_long_term_monitoring"]
- entity: "氨氯地平"
relations: ["treats", "hypertension", "contraindicated_with", "simvastatin"]
```
保存后,在「调试面板」中输入提问:“这份报告里提到的降压药是否与他汀类联用安全?”系统将基于注入的关系自动判断并引用知识图谱证据链,而非仅依赖LLM幻觉生成答案。
这一步必须在知识库完成向量化之前执行。一旦向量索引构建完成,再修改上下文注入将不会影响已有chunk的语义嵌入。
验证解析结果准确性
方法一:使用内置校验工具
进入知识库 → 点击「解析质量报告」→ 查看「字段填充率」「实体歧义率」「OCR置信度均值」三项指标。任一指标低于85%,需返回第二步调整OCR参数或第三步优化正则。
方法二:人工抽检关键字段
导出解析结果为CSV → 筛选diagnosis字段为空或含“待确认”的行 → 对应原始PDF定位到第3页手写部分 → 检查是否因字迹潦草导致LayoutLMv3坐标映射偏移。此时需在「版面分析微调」中上传该页图像+人工标注的bbox坐标JSON,触发模型在线增量学习。
方法三:触发紧急回滚机制
若发现某份报告将“右肺中叶”错误识别为“右肺肿瘤”,立即在知识库操作栏点击「撤回最近一次解析」→ 输入该文件MD5值 → 系统将自动清除对应向量并禁用该文档的自动重试策略。











