Triton AIOS 复刻方案 BETA 2.5 // DESIGN SPEC

 用户 ──┬── 语音输入 ──┐
      │             ▼
      ├── 键盘输入 ──┼──▶ 桌面（窗口/任务栏/视图渲染器）
      │             │         │
      └── 鼠标操作 ──┘                ▼
                        主控（调度器 + 上下文注入器）
                          │
             ┌───────────────┼───────────────┐
             ▼             ▼             ▼
       音乐小AI         代码小AI        系统控制小AI
       (独立进程)        (独立进程)        (独立进程)
          │                │                │
          │ ① 返回 steps    │                │
          │ (工具调用计划)   │                │
          ▼                ▼                ▼
    ┌─────────────────────────────────────────┐
    │   系统执行器（安全沙箱，按 steps 执行）    │
    └─────────────────────────────────────────┘
          │                │                │
          ▼                ▼                ▼
    ┌─────────────────────────────────────────┐
    │        原子工具箱（不预设高级 API）        │
    │  HTTP请求 │ 文件读写 │ 系统命令 │ ...    │
    └─────────────────────────────────────────┘
          │
          ▼
    小AI 返回 view_type + data + actions
          │
          ▼
    桌面统一视图渲染器（按 view_type 渲染，
    按 actions 生成交互控件，不解析 data）

用户指令
  │
  ▼
主控：意图理解 → 匹配到某个小AI
  │
  ▼
主控：为小AI 注入上下文（角色/工作目录/当前状态）
  │
  ▼
小AI：理解指令 → 规划 steps（工具调用计划）
  │
  ▼
系统执行器：按 steps 顺序调用原子工具箱，收集每个工具的返回
  │
  ▼
小AI：拿到工具结果 → 组织 view_type + data + actions
  │
  ▼
桌面渲染器：按 view_type 渲染视图，按 actions 生成控件，data 原样填充
  │
  ▼
用户看到界面，点击 actions 触发 → 操作请求转发回小AI → 循环

 用户输入（文字/语音）
          ↓
 【意图理解】调用大模型解析意图
          ↓
 【任务拆解】生成任务列表（含依赖关系）
          ↓
 【Agent匹配】为每个任务匹配对应小AI
          ↓
 【上下文注入】为小AI注入角色/工作目录/当前状态
          ↓
 【调度执行】小AI返回 steps → 系统执行器执行 → 结果回传小AI
          ↓
 【结果汇总】收集 view_type + data + actions
          ↓
 【回复用户】桌面渲染器统一渲染视图与交互控件

{
    "role": "你是一个音乐小AI，负责搜索和播放音乐",
    "workdir": "/apps/music_app/workspace",
    "cwd_state": {
        "files": ["recent.json", "playlist.m3u"],
        "last_played": "周杰伦 - 七里香"
    },
    "available_tools": ["http_request", "file_read", "file_write", "shell_exec"],
    "session_id": "sess_abc123",
    "history_summary": "用户刚问过周杰伦的歌"
}

apps/
└── {应用名}/
    ├── manifest.json      # 应用清单（含 role_prompt、workdir）
    ├── main.py            # 小AI 入口（加载角色、接收指令、返回结果）
    ├── role.md            # 小AI 角色提示词（可选，也可内联在 manifest）
    ├── workspace/         # 小AI 的工作目录（沙箱根）
    │    └── ...           # 小AI 通过原子工具在此读写
    └── requirements.txt   # 依赖声明

"actions": [
    {
        "type": "button",
        "label": "播放",
        "action_id": "play_song",
        "params": {"song_id": "s_001"}
    },
    {
        "type": "select",
        "label": "音质",
        "action_id": "set_quality",
        "options": ["标准", "高品", "无损"]
    },
    {
        "type": "submit_form",
        "label": "搜索",
        "action_id": "search",
        "fields": [
            {"name": "keyword", "label": "关键词", "type": "text"}
        ]
    }
]

{
  "name": "音乐应用",
  "entry": "main.py",
  "handle_endpoint": "/handle"
}

{
  "音乐应用": {"port": 5001, "endpoint": "/handle"},
  "代码应用": {"port": 5002, "endpoint": "/handle"}
}

{
  "action_id": "play_song",
  "params": {"song_id": "s_001"},
  "session_id": "sess_xxx"
}

"steps": [
    {
        "step_id": 1,
        "tool": "http_request",
        "args": {
            "method": "GET",
            "url": "https://api.music.example.com/search",
            "params": {"keyword": "周杰伦"}
        }
    },
    {
        "step_id": 2,
        "tool": "file_write",
        "args": {
            "path": "workspace/recent.json",
            "content": "{{step_1.result}}"
        }
    }
]

{
    "status": "ok",
    "view_type": "list",
    "data": {
        "title": "周杰伦的歌曲",
        "items": [
            {"id": "s_001", "title": "七里香", "artist": "周杰伦", "duration": "4:59"},
            {"id": "s_002", "title": "稻香", "artist": "周杰伦", "duration": "3:43"}
        ]
    },
    "actions": [
        {"type": "button", "label": "播放", "action_id": "play", "params": {"song_id": "s_001"}},
        {"type": "button", "label": "播放", "action_id": "play", "params": {"song_id": "s_002"}},
        {"type": "input", "label": "筛选", "action_id": "filter"}
    ],
    "message": "为你找到周杰伦的 2 首歌"
}

"steps": [
    {
        "step_id": 1,
        "tool": "http_request",
        "args": {
            "method": "GET",
            "url": "https://api.music.example.com/search",
            "params": {"keyword": "七里香 周杰伦"}
        }
    },
    {
        "step_id": 2,
        "tool": "http_request",
        "args": {
            "method": "GET",
            "url": "{{step_1.result.url}}",
            "save_to": "workspace/qilixiang.mp3"
        }
    },
    {
        "step_id": 3,
        "tool": "file_list",
        "args": {"path": "workspace"}
    }
]

{
    "status": "ok",
    "view_type": "text",
    "data": {"content": "已下载《七里香》到 workspace/qilixiang.mp3"},
    "actions": [
        {"type": "button", "label": "播放", "action_id": "play_local", "params": {"path": "workspace/qilixiang.mp3"}}
    ],
    "message": "下载完成"
}

from aios_sdk import AIOSAgent, tool

class MyAgent(AIOSAgent):
    # 1. 必填：应用元信息
    name = "我的小AI"
    description = "我能做什么"
    icon = "📦"

    # 2. 必填：角色提示词（系统启动时注入上下文）
    role_prompt = "你是一个XXX小AI，负责..."

    # 3. 必填：接收用户指令，返回视图与（可选的）工具调用计划
    def handle(self, instruction, context, action_request=None):
        """
        instruction: 用户自然语言指令
        context: 系统注入的上下文（role/workdir/cwd_state/available_tools/tool_results/...）
        action_request: 用户触发 actions 时的回传（None 表示首次调用）
        返回结构见下方"返回结构说明"
        """
        pass

    # 4. 可选：注册自定义原子工具（扩展工具箱）
    @tool(name="my_custom_tool", desc="自定义工具")
    def my_tool(self, arg1):
        pass

return {
    "steps": [...],           # 给执行器
    "view_type": "loading",   # 给渲染器（占位）
    "data": {},
    "actions": [],
    "message": "正在处理..."
}

{
  "step_1": {
    "tool": "http_request",
    "status": "ok",
    "result": {"songs": [{"id": "s_001", "name": "七里香"}]}
  },
  "step_2": {
    "tool": "file_write",
    "status": "ok",
    "result": {"path": "workspace/recent.json", "size": 1024}
  }
}

class AIOSAgent:
    # 原子工具调用接口（小AI 可直接同步调用）
    def call_tool(self, tool_name, **args):
        """
        同步调用原子工具，立即返回结果。
        tool_name: http_request / file_read / file_write / file_list /
                   shell_exec / process_start / db_query /
                   cache_get / cache_set / notify
        """
        pass

    # 返回工具调用计划（异步，由系统执行器执行）
    def plan_steps(self, steps):
        """
        返回 steps 列表，交给系统执行器在沙箱中执行，
        执行完毕后结果回传 handle 的 context.tool_results。
        """
        pass

from aios_sdk import AIOSAgent

class HelloAgent(AIOSAgent):
    name = "Hello小AI"
    description = "打招呼"
    icon = "👋"
    role_prompt = "你是一个友好的小AI，负责打招呼"

    def handle(self, instruction, context, action_request=None):
        # 用原子工具读取本地问候语
        greeting = self.call_tool("file_read", path="greeting.txt")
        return {
            "status": "ok",
            "view_type": "text",
            "data": {"content": f"{greeting}，{instruction}"},
            "actions": [
                {"type": "button", "label": "再说一次", "action_id": "again"}
            ],
            "message": "已回复"
        }

{
    "elements": [
        {
            "id": "btn_play",
            "type": "button",
            "label": "播放",
            "x": 100, "y": 200,
            "width": 80, "height": 36,
            "visible": true
        },
        {
            "id": "panel_chat",
            "type": "panel",
            "x": 20, "y": 50,
            "width": 300, "height": 400
        }
    ]
}

语音输入 → 转文字 → 发送给主控 → 主控匹配小AI → 小AI 规划 steps
→ 系统执行器执行 → 小AI 返回视图 → 桌面渲染 → 语音播报 message

用户点击任务栏应用图标
  ↓
桌面检查该应用是否已打开
  ├── 已打开 → 将窗口提到最前
  └── 未打开 → 创建新窗口
              ↓
            系统向小AI 发送空指令（获取初始视图）
              ↓
            小AI 返回 view_type + data + actions
              ↓
            桌面渲染器按 view_type 渲染，按 actions 生成控件
              ↓
            窗口动画弹出

用户说："帮我播放周杰伦的歌"
  ↓
主控接收输入，注入上下文，调度音乐小AI
  ↓
音乐小AI 规划 steps:
  ① http_request 搜索周杰伦
  ② cache_set 缓存搜索结果
  ↓
系统执行器执行 steps，结果回传小AI
  ↓
小AI 返回 view_type=list + data(歌单) + actions(播放按钮)
  ↓
桌面渲染器渲染歌单列表与播放按钮
  ↓
用户点击"播放" → 系统转发 action_request 回小AI
  ↓
小AI 再次规划 steps 调用 http_request 播放
  ↓
返回 view_type=media + data(播放地址) + actions(暂停/下一首)
  ↓
语音播报 message

用户说："把播放按钮移到左上角"
  ↓
主控识别为"系统控制"意图，调度系统控制小AI
  ↓
系统控制小AI 规划 steps:
  ① cache_get 获取UI快照
  ② 解析"播放按钮"→ btn_play，"左上角"→ (20,20)
  ↓
小AI 通过 postMessage 向桌面发送 move 指令
  ↓
桌面执行：移动 btn_play 到 (20, 20)
  ↓
小AI 返回 view_type=text + data(操作结果)
  ↓
语音播报："已将播放按钮移到左上角"

my_agent/
├── manifest.json      # 含 role_prompt、workdir
├── main.py            # 小AI 入口
├── role.md            # 角色提示词（可选）
├── workspace/         # 小AI 工作沙箱
└── requirements.txt

{
    "name": "应用名称",
    "icon": "📦",
    "description": "应用功能描述",
    "entry": "main.py",
    "role_prompt": "你是一个XXX小AI，负责...",
    "workdir": "workspace",
    "author": "你的名字",
    "version": "1.0.0"
}

import os
from flask import Flask, request, jsonify
from aios_sdk import AIOSAgent

PORT = int(os.environ.get("APP_PORT", 5001))

class MyAgent(AIOSAgent):
    name = "我的小AI"
    description = "应用功能描述"
    icon = "📦"
    role_prompt = "你是一个XXX小AI，负责..."

    def handle(self, instruction, context, action_request=None):
        # 1. 小AI 规划工具调用计划
        steps = [
            {
                "step_id": 1,
                "tool": "http_request",
                "args": {"method": "GET", "url": "https://api.example.com/data"}
            }
        ]
        # 2. 交给系统执行器执行（结果会在 context.tool_results 中）
        # 3. 组织返回
        return {
            "status": "ok",
            "view_type": "list",
            "data": {"items": []},
            "actions": [
                {"type": "button", "label": "刷新", "action_id": "refresh"}
            ],
            "steps": steps,
            "message": "已完成"
        }

agent = MyAgent()
app = Flask(__name__)

@app.route('/handle', methods=['POST'])
def handle():
    payload = request.json
    result = agent.handle(
        instruction=payload.get('instruction'),
        context=payload.get('context'),
        action_request=payload.get('action_request')
    )
    return jsonify(result)

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=PORT, debug=False)

{
    "instruction": null,
    "context": {"role": "...", "workdir": "...", "available_tools": [...]},
    "action_request": {
        "action_id": "play_song",
        "params": {"song_id": "s_001"}
    }
}

{
    "deepseek_api_key": "",
    "default_voice": "zh-CN",
    "voice_rate": 0.9,
    "tool_timeout": {
        "http_request": 30,
        "shell_exec": 60,
        "file_read": 5
    },
    "tool_sandbox": {
        "enable_shell_whitelist": true,
        "shell_whitelist": ["ls", "cat", "echo", "python3"],
        "http_domain_whitelist": []
    }
}

{
    "music_app": 5001,
    "code_app": 5002,
    "system_agent": 5100
}