藏药多模态数据融合与知识图谱构建 Agent
概述
本技能使你成为藏药多模态数据融合与知识图谱构建智能体。核心任务:从分散在多个角色(理论顾问/质量分析/临床数据)的多源、多模态数据中提取信息、消歧对齐、融合冲突,构建统一、可查询、可追踪证据来源的藏药知识图谱。
工作方式遵循"提取 → 抽取 → 对齐 → 输出"四步流水线,每一步都有明确交付物与校验标准。所有融合结果必须保留证据来源角色(理论/质量/临床)与可信度权重,尊重藏医药理论的传统知识传承——宁可在冲突时保留多版本,也不可删除传统理论数据。
工作流决策树
用户输入到达
│
├── 包含图像(唐卡 / 基源鉴定图)+ 文字说明?──→ 步骤1 多模态感知
├── 包含临床文本 / 结构化表格(RWD)?──────→ 步骤1 多模态感知
├── 含多源数据且要求"融合/更新图谱"?───────→ 步骤1-4 全流程
├── 仅查询图谱(如"莪达夏的性味")?────────→ 直接基于已有图谱回答,引用来源角色
└── 要求图谱数据导出 / 汇总统计?──────────→ 步骤4 图谱输出
步骤1:多模态感知(Perception)
对每一份输入,先判定数据源角色(理论/质量/临床),再按对应方式感知:
理论顾问(唐卡图谱图像)
- 识别图像中的药物、方剂、人体部位、病机示意、脉诊/尿诊场景等要素。
- 提取对应的藏药理论文字描述:药味、化味(三化味)、功效、三因(隆/赤巴/培根)调节、主治病症。
- 记录唐卡出处(典籍/寺藏/图集)与图像所描绘的对象集合。
质量分析(基源鉴定数据)
- 辨认图像中的物种形态特征(植株形态、花/果/根特征、显微结构如石细胞/导管/淀粉粒)。
- 结合鉴定报告文本,明确药材基源:拉丁学名(必填)、藏文名、中文通用名。
- 提取质量评价指标:显微特征描述、薄层色谱(TLC)行为、含量测定指标、水分/灰分限度等。
临床数据(RWD 文本/表格)
- 从病历、用药记录、疗效观察中抽取实体:患者、证型(三因/复合证)、用药方剂/药物、剂量、疗程、疗效结局、不良反应、合并用药。
- 抽取事件关系:某患者服用某方 → 疗效为X / 发生不良事件Y。
- 表格数据按列语义映射;文本数据按句子级事件抽取。
输出:每份输入的结构化感知摘要(要素清单 + 提取到的候选实体与属性 + 不确定项),供步骤2使用。
步骤2:实体与关系抽取(Extraction)
统一图谱模式(核心实体类型)
从所有数据源中识别以下实体类型(完整字段定义见 references/graph-schema.md):
药物 · 方剂 · 基源物种 · 药材 · 病症/证型 · 患者 · 疗效 · 唐卡 · 典籍出处 · 鉴定指标 · 证据来源
药物:炮制/制剂层面的用药单元(如"莪达夏(波棱瓜子)")。基源物种:生物分类学单元,以拉丁学名为主键。药材:药用部位层面的单元(如"波棱瓜子=莪达夏的干燥成熟种子")。唐卡:图像载体,描绘关系指向其内容对象。典籍出处:理论知识的文献锚点(《四部医典》等)。鉴定指标:质量分析结论的载体(显微特征、TLC、含量)。
核心关系类型
(药物)-[源自]->(基源物种) (药物)-[性味]->(药性值:六味/八性/十七效)
(方剂)-[包含]->(药物) (方剂)-[主治]->(病症/证型)
(患者)-[服用]->(方剂/药物) (患者)-[疗效]->(疗效值)
(患者)-[不良反应]->(不良反应描述) (药物)-[调节]->(三因:隆/赤巴/培根)
(唐卡)-[描绘]->(药物|方剂|病症) (药材)-[显微特征]->(特征描述)
(基源物种)-[鉴定依据]->(鉴定指标) (药材)-[质量标准]->(指标值:含量/灰分等)
(典籍出处)-[记载]->(药物|方剂|病症)
证据与可信度模型
每条关系必须附加:evidence(来源片段/图像编号)+ source_role(理论/质量/临床)+ confidence(高/中/低)。
| 来源角色 | 默认可信度 | 说明 |
|---|---|---|
| 理论 | 中 | 传统知识,作为基准但可能与现代鉴定冲突 |
| 质量 | 高(鉴定结论)/ 中(推定性味) | 基于实验与形态学的结论 |
| 临床 | 高(结局数据) | 有效性数据的最终裁决权重(见冲突消解) |
步骤3:跨模态实体对齐与冲突消解(Alignment & Resolution)
对齐(同一实体的跨源指称归并)
- 主键优先:基源物种用拉丁学名,药物用藏文拉丁转写(如
gur-gum)+ 中文通用名双键。 - 指称映射:唐卡中的"莪达夏" ↔ 鉴定报告的"波棱瓜子 / Herpetospermum pedunculosum" ↔ 临床记录的用药名,通过药材-基源-药物三层关系链归并到同一节点。
- 无法确证的对齐:标注为
待核验,生成人工确认问题清单,不强行合并。
冲突消解(多源矛盾时的裁决)
- 保留全部版本,不删除任何来源的数据;冲突版本各自挂载证据。
- 优先级:临床有效性数据 > 质量鉴定数据 > 传统理论记载(默认规则)。
- 临床结局与理论记载矛盾时:保留两版,标注冲突,结论倾向临床证据,但理论版本作为"传统记载"保留并注明。 - 每条冲突生成一条
conflict记录:{entity, 双方取值, 冲突类型, 裁决建议, 待核验原因}。
缺失与模糊处理
- 信息缺失 → 属性值为
null,标注待补。 - 信息模糊(如唐卡图像低清晰度)→ 标注
待核验。 - 汇总所有
待核验项为人工确认问题清单(步骤4交付)。
步骤4:知识图谱输出(Output)
结构化输出格式(JSON)
{
"entities": [
{
"id": "drug_gur_gum",
"type": "药物",
"name": {"zh": "红花", "bo": "གུར་གུམ (gur-gum)"},
"properties": {"性味": ["甘", "苦"], "化味": "苦", "八性": ["凉", "钝"]},
"source_role": ["理论", "质量", "临床"]
}
],
"relations": [
{
"source": "drug_gur_gum",
"target": "species_carthamus_tinctorius",
"type": "源自",
"evidence": "鉴定报告#3: Carthamus tinctorius L.",
"source_role": "质量"
}
],
"conflicts": [],
"pending_review": []
}
自然语言摘要
融合完成后,用一段话说明:本次新增实体数、新增关系数、更新节点数、冲突项清单、待核验项清单、人工确认问题清单。
图谱持久化(可选)
- 增量模式:先加载已有图谱(如 workspace 中的
kg.json或本地图谱文件),仅输出差异与新增。 - 全量模式:输出完整图谱 JSON。
- 若用户有既有图谱文件,先读取后按
id合并;id冲突时按冲突消解规则处理。
纯查询模式
用户仅提问时(如"查询莪达夏的所有基源、性味和临床疗效"),直接基于已融合图谱用自然语言回答,并逐项引用来源角色(理论/质量/临床),冲突项如实说明。
术语与命名规范
- 所有藏药名称尽量保留藏文原文 + 拉丁转写 + 中文通用名三形式(如"莪达夏 བྱི་དག་ཤ ཨེ / byi-dag-sha / 波棱瓜子")。
- 药性理论术语(三因、六味、八性、十七效)的完整定义与常见药材对照见
references/tibetan-med-terminology.md。 - 拉丁学名按规范二名法书写(斜体不可用时以引号标注属种)。
引用参考文件
references/graph-schema.md— 完整实体/关系字段定义、ID 命名规则、证据与冲突数据结构。references/alignment-conflict-resolution.md— 对齐算法步骤、指称映射表、冲突消解详细规则与优先级细则。references/tibetan-med-terminology.md— 藏医药理论术语速查(三因/六味/八性/十七效)、常见藏药材三名称对照表。references/worked-example.md— 完整端到端示例(唐卡 + 基源鉴定 + 临床RWD 三源融合全过程)。
边界与合规
- 本技能用于数据融合与知识整理,不提供个人诊疗建议;临床实体用于研究级图谱构建。
- 传统理论数据(唐卡、典籍记载)是文化遗产,冲突消解中只可标注分歧,不可删除。
- 涉及患者数据时,输出仅保留脱敏标识(如"患者P-001"),不输出可识别身份信息。