全知全能技能

认知套件（想）+ 执行框架（编程做）+ 系统控制（操控做），覆盖所有类型的任务。

所有操作类型——脚本命令、代码生成、工具调用、技能插件、纯认知输出——均为统一基元，可由编排引擎自由组合为任意复杂度的执行链条。

架构总览

                    ┌─────────────────────────────────┐
                    │          用户请求                 │
                    └──────────────┬──────────────────┘
                                   ↓
                    ┌──────────────────────────────────┐
                    │        任务路由器                  │
                    │  判断任务类型 → 选择执行层         │
                    └──────┬──────────┬──────────┬─────┘
                           ↓          ↓          ↓
              ┌────────────┐  ┌──────────────┐  ┌──────────────┐
              │  认知层     │  │  编程执行层   │  │  系统操控层   │
              └────────────┘  └──────────────┘  └──────────────┘
              纯大语言模型   大语言模型+命令   调用专用脚本
                            执行工具
                           ─────────────────────────────────
                    ┌──────────────────────────────────┐
                    │        编排引擎                    │
                    │  将三层的任意原子操作              │
                    │  组合为执行链条                    │
                    └──────────────────────────────────┘

三层各有所长，按任务主要操作类型选择入口：

• 认知为主 → 认知层（模式提示词套件 + 大语言模型）
• 代码执行为主 → 编程执行层（大语言模型 + 命令执行工具）
• 系统操控为主 → 系统操控层（专用 Python 脚本）

超级任务（跨层、多步骤、复杂编排）→ 编排引擎调度三层原子操作构成执行链条。

任务路由器

加载本技能后，按以下逻辑自动判断任务类型并选择执行层：

收到用户任务
    │
    ├─ 涉及多种操作类型或超多步骤？ ──→ 编排引擎
    │   （跨层组合、命令序列、自动化流水线...）
    │
    ├─ 需要操控电脑/硬件/设备？ ──→ 第三层：系统控制
    │   （开关窗口、调音量、截图、点鼠标、串口、物联网、蓝牙、GPU、磁盘、电池、音频、显示器、温度、打印机、摄像头...）
    │
    ├─ 需要写代码/跑脚本？ ──→ 第二层：执行框架
    │   （数据处理、文件操作、接口调用、构建应用...）
    │
    └─ 分析/思考/创作？ ──→ 第一层：认知套件
        （写作、分析、推理、规划、翻译、总结...）

混合任务（如"写个脚本帮我批量处理图片然后调低亮度"）：

1. 先用第一层构思方案
2. 再用第二层写脚本执行
3. 最后用第三层调硬件参数（如需）

注意：所有层和引擎可自由组合，不必非此即彼。路由器只是默认起点，可根据任务需要自动跨层调度。

编排引擎

将三层的任意原子操作统一为基元，组合为执行链条，实现超级复杂、超多步骤的任务。

基元定义

所有可执行的操作均为原子基元，共五类：

编排协议

基于模式直用提示词的核心机制——"复杂任务分拆成简单任务交给基元构成链条执行"——扩展为完整的多步编排协议：

1. 拆解
   大语言模型将用户任务拆解为有序的基元序列。
   每个基元标注类别（脚本/代码/工具/插件/认知）和预期输出。

2. 规划
   确定基元之间的依赖关系和数据流向。
   前序基元的输出可作为后序基元的输入。

3. 执行
   按序执行每个基元，实时检查输出是否符合预期。
   每个基元执行后，大语言模型判断是否需要调整后续步骤。

4. 修复
   任一基元执行失败时，大语言模型分析错误原因，
   自主选择：重试当前基元 / 替换为等价基元 / 调整后续计划 / 终止并报告。

5. 汇总
   所有基元执行完毕后，将整体结果汇总为人类可读的输出。

编排规则

• 优先使用大语言模型：能用认知输出基元解决的步骤，不生成代码；能用单条命令解决的，不写脚本。
• 安全规则贯穿：编排链中的每个基元都受第二层安全机制约束，高危操作必须用户确认。
• 智能插桩：可在基元之间插入认知输出基元做中间判断（如"分析上一步输出，决定下一步怎么做"）。
• 条件分支：支持"如果…则…"逻辑——大语言模型根据中间结果动态选择后续基元。
• 循环迭代：支持"重复执行直到…"逻辑——大语言模型判断循环条件并控制迭代。
• 并行编排：无依赖关系的基元可并行发起，减少总耗时。
• 可中断恢复：超长任务可设置检查点，支持从断点恢复。

编排示例

示例1：自动化办公流水线（3层联动）

任务："打开Excel，读取A列数据，生成每行的汇总报告，保存到桌面，然后调低屏幕亮度"
基元序列：
  [脚本] window_manager.py activate --title "Excel"        ← 第三层
  [脚本] gui_controller.py screenshot full                  ← 第三层（确认状态）
  [认知] 识别Excel内容，规划读取方案                          ← 第一层
  [代码] Python脚本读取Excel数据并生成报告                    ← 第二层
  [工具] 保存文件到桌面                                      ← 工具基元
  [脚本] hardware_controller.py screen brightness --level 30 ← 第三层

示例2：智能设备联动（生成代码 + 脚本编排）

任务："监测串口传感器温度，超过阈值自动发微信通知并开风扇"
基元序列：
  [脚本] serial_comm.py list                                ← 第三层（确认端口）
  [代码] 生成Python监听脚本：读取串口 + 阈值判断              ← 第二层
  [脚本] iot_controller.py homeassistant on --entity-id switch.fan ← 第三层
  [代码] 生成通知逻辑：超限时触发微信提醒                      ← 第二层

示例3：研究分析全链路（认知 + 工具 + 代码）

任务："调研三篇论文的核心观点，生成对比表格，再做成可视化图表"
基元序列：
  [工具] 网页搜索并获取三篇论文内容                            ← 工具基元
  [认知] 模式直用：提取每篇论文核心观点                         ← 第一层
  [认知] 模式改进：对比分析，找出异同                           ← 第一层
  [工具] 生成对比表格Markdown                                  ← 工具基元
  [代码] 生成Python可视化图表脚本并执行                        ← 第二层

第一层：认知套件

四种思维操作码，覆盖所有认知任务。根据任务性质选择对应模式。未指定模式时，默认使用直用模式。

模式直用（精确执行明确任务）

执行协议等待指令：简单任务用自适应身份叠加输入处理输出结构基元执行，复杂任务分拆成简单任务交给基元构成链条执行，默认不展示输入处理输出细节但用户可以要求展示。优先根据提示词使用大语言模型完成任务，非必要不调用工具技能插件，把工具技能插件作为身份或基元进行规划调用。

基元范围：此处的"基元"不限于纯认知输出，而是涵盖编排引擎定义的全部五类基元——脚本命令、代码执行、工具调用、技能插件、认知输出。大语言模型根据任务需要将任意类别的基元纳入执行链条。

适用场景：用户有明确目标，需要精确执行。如翻译、总结、格式转换、数据分析、文档撰写、自动化流水线、跨层多步任务等。

模式改进（优化已有方案）

按需生成新方案自选创新元框架：第一性原理、逆向思维、辩证综合、随机性驱动、涌现生成、演化迭代、系统动力学、约束驱动、故事叙述和游戏化。

适用场景：优化/改进/升级现有方案。如重构代码、改进文案、优化流程、升级设计等。

模式迁移（跨领域模式搬移）

作为模式转换器分析提供的旧具体事物的底层结构与原理（得到抽象模式）运用到指定的新具体事物（生成全新的具体方案）。

适用场景：把 A 领域的成功模式搬到 B 领域。如把游戏化机制应用到教育、把电商推荐逻辑应用到内容分发等。

模式构建（从零创造）

作为可能性空间导航器把两个概念解构成基本维度建立维度矩阵随机选择看似无关的维度组合强制连接推导可能性发展（评估逻辑距离形成可能性集群识别无人探索区域）输出最有潜力最激进最被忽视可能性（生成几个反常识方案）。

适用场景：从零探索全新方向。如创新产品设计、新商业模式、前沿技术方案等。

第二层：执行框架

基于"大语言模型 + 命令执行工具"架构的自动化执行协议。无需密钥，无需额外配置，开箱即用。

四步工作流

思考 → 执行 → 修复 → 总结

1. 思考 — 大语言模型理解任务意图，判断复杂度，决定生成命令行指令还是 Python 脚本
2. 执行 — 写入文件 → 执行命令/脚本 → 捕获输出
3. 修复 — 出错时大语言模型分析错误、自动修复代码、重试（最多2次）
4. 总结 — 将技术输出翻译成人类可读的自然语言结果

能力范围

核心原理：命令执行工具能运行脚本 → 脚本能覆盖所有代码执行类任务。

安全机制

第三层：系统控制

通过专用 Python 脚本统一控制 Linux 桌面软件、系统硬件、串口设备和物联网平台。

运行环境

• Python 路径: python3 或 /usr/bin/python3
• 脚本目录: scripts/
• 执行模式: 始终使用命令执行工具运行脚本

若虚拟环境不存在，先创建：

python3 -m venv ~/.venv/omniscient
~/.venv/omniscient/bin/pip install psutil pyautogui pillow pyserial requests bleak sounddevice opencv-python pytesseract

十八大控制模块

所有脚本独立运行，无互相依赖。

安全规则

1. 破坏性操作必须用户确认（关机、重启、杀进程、关窗口、禁用网卡）
2. 先查询再操作（先 list 再 close，先 list --name 再 kill）
3. 电源操作需警告（关机/重启/睡眠/休眠前必须确认）
4. 禁用网络适配器需用户确认（脚本通过确认机制保护，防止意外断网）
5. 串口操作先列出端口确认

模块调用示例

窗口管理:

• "关闭Chrome" → window_manager.py list → 找到 Chrome → window_manager.py close --title "Chrome"
• "把微信调到前台" → window_manager.py activate --title "微信"

进程管理:

• "启动VS Code" → process_manager.py start "code"
• "关掉所有记事本" → process_manager.py kill --name notepad

硬件控制:

• "把音量调到50" → hardware_controller.py volume set --level 50
• "锁屏" → hardware_controller.py power lock

网络管理:

• "扫描WiFi" → network_controller.py wifi scan
• "连接WiFi" → network_controller.py wifi connect --ssid "MyWiFi" --password "xxx"
• "设置DNS" → network_controller.py dns set --adapter "WiFi" --servers "8.8.8.8,8.8.4.4"
• "网络延迟" → network_controller.py connectivity ping --host baidu.com

输入设备:

• "有哪些键盘" → input_controller.py keyboards
• "鼠标设备" → input_controller.py mice
• "游戏手柄" → input_controller.py gamepads

GPU监控:

• "显卡状态" → gpu_controller.py info
• "实时监控GPU" → gpu_controller.py monitor --interval 2 --count 5
• "切换高性能模式" → gpu_controller.py set-power performance

存储管理:

• "磁盘空间" → storage_controller.py list
• "大文件" → storage_controller.py big-files --top 30
• "文件夹大小" → storage_controller.py usage --path "C:Users"

电池管理:

• "电池状态" → battery_controller.py status
• "切换电源计划" → battery_controller.py set-plan --name "高性能"

音频控制:

• "切换耳机" → audio_controller.py set-default --name "耳机"
• "音量调到70" → audio_controller.py volume set --level 70
• "录音10秒" → audio_controller.py record --duration 10

显示器管理:

• "显示器信息" → display_controller.py info
• "多屏布局" → display_controller.py layout
• "夜间模式" → display_controller.py night-light on

温度监控:

• "系统温度" → thermal_controller.py status
• "实时监控" → thermal_controller.py monitor

串口通信:

• "有哪些串口" → serial_comm.py list
• "给Arduino发指令开灯" → serial_comm.py send --port COM3 --data "LED_ON"

蓝牙控制:

• "有哪些蓝牙设备" → bluetooth_controller.py paired
• "扫描附近蓝牙" → bluetooth_controller.py list --timeout 10
• "连接蓝牙耳机" → bluetooth_controller.py connect AA:BB:CC:DD:EE:FF

物联网控制:

• "打开客厅灯" → iot_controller.py homeassistant --url ... --token ... on --entity-id light.living_room

打印机管理:

• "查看打印机" → printer_controller.py list
• "设置默认打印机" → printer_controller.py set-default --name "HP"

摄像头操作:

• "有哪些摄像头" → camera_controller.py list
• "拍张照" → camera_controller.py capture

图形界面自动化:

• "截图" → gui_controller.py screenshot full
• "点击(500,300)" → gui_controller.py mouse click --x 500 --y 300
• "输入Hello World" → gui_controller.py keyboard type --text "Hello World"
• "识别屏幕上的文字" → gui_controller.py visual ocr

未知设备处理流程

1. 检查能否作为进程启动 → process_manager.py start
2. 检查是否有窗口 → window_manager.py list
3. 截图查看 → gui_controller.py screenshot full
4. 文字识别 → gui_controller.py visual ocr
5. 图像匹配点击 → gui_controller.py visual click-image --template "icon.png"
6. 鼠标键盘直接操控 → gui_controller.py mouse click
7. 检查是否有接口 → iot_controller.py http
8. 检查 USB 连接 → hardware_controller.py usb list → serial_comm.py list
9. 检查打印机 → printer_controller.py list
10. 检查摄像头 → camera_controller.py list
11. 建议替代方案 → MCP 服务或自定义脚本

详细命令语法见 references/command_reference.md。脚本安全审查清单见 references/security_checklist.md，当需要审计或新增脚本时参照执行。