OpenAIMessage (role=" user ",
                            content=[
                            {" type ":" text "," text ":" user_prompt "},
                            {" type ":" image_url "," image_url ":"' data: image/png;base64, iVBORw...'"}
                            ...(images)])

OpenAIMessage (role=" user ",
                            content=[
                            {" type ":" text "," text ":" user_prompt "},
                            {" type ":" image_url "," image_url ":"' data: image/png;base64, iVBORw...'"}
                            ...(images)])

U:" 你是不是不喜欢吃蘑菇?"

A:" 是的, 如果你敢在汤里加, 我会让你知道什么是后悔."

U:" 那你看这是什么 [一张正在烹饪的图, 里面有很多食材, 其中有蘑菇, 但混杂在其中稍微有点扎眼]."

{
    " scene ": " VS Code 全屏显示代码与终端 ",
    " key_items ": [
        {" type ":" app "," label ":" VS Code "," detail ":" 深色主题, 全屏窗口 "},
        {" type ":" ui "," label ":" 文件树 "," detail ":" 左侧资源管理器展开多个目录 "},
        {" type ":" code "," label ":" Python 代码 "," detail ":" 中间编辑区显示 async 相关函数 "}
    ],
    " visible_text ":[" run_tool_loop "," ToolTrace "," vision__screen_shot "],
    " ui_hints ":[" 顶部有多个文件标签 "," 底部有终端输出日志 "],
    " uncertainty ":[" 部分文件名过小, 无法确认完整拼写 "]
}

[User Prompt]
...
[Vision Summaries]
{" p1 "...
 " p2 "...}

from __future__ import annotations

import base64
from openai import OpenAI
from lab.config_manager import XnneHangLabSettings, load_settings_file


def image_to_base64(path: str) -> str:
    with open(path, "rb") as f:
        return base64.b64encode(f.read()).decode("utf-8")


def main():
    # 读取配置
    settings = load_settings_file("lab.toml", XnneHangLabSettings)
    base_url = settings.agent.llm.oaipro.llm_base_url
    api_key = settings.agent.llm.oaipro.llm_api_key
    model_name = settings.agent.vision_model.llm_model_name

    client = OpenAI(
        base_url=base_url,
        api_key=api_key
    )

    # 图片路径（示例）
    image_paths = [
        "pic/1.jpg",
        "pic/2.jpg",
        "pic/3.jpg",
        "pic/4.jpg",
        "pic/5.jpg",
        "pic/6.jpg",
        "pic/7.jpg",
        "pic/8.jpg",
        "pic/9.jpg",
        "pic/10.jpg",
    ]
    print("标准答案:p1完整 p2完整 p3破损 p4完整 p5破损 p6完整 p7完整 p8破损 p9完整 p10破损")
    for i in range(10):
        image_contents = []
        for path in image_paths[:i+1]:
            image_contents.append({
                "type": "image_url",
                "image_url": {
                    "url": f"data:image/jpeg;base64,{image_to_base64(path)}"
                }
            })

        prompt_text = """请检查上传图像中电池哪些紫色外皮不完整导致金属边缘部分裸露, 
        回复格式示例：
        p1完整/破损
        p2完整/破损
        ..."""

        response = client.chat.completions.create(
            model=model_name,
            messages=[
                {
                    "role": "user",
                    "content": [
                        {
                            "type": "text",
                            "text": prompt_text
                        },
                        *image_contents
                    ]
                }
            ],
            temperature=0
        )
        print(f"输入图片数量：{len(image_paths[:i+1])}")
        print(response.choices[0].message.content)


if __name__ == "__main__":
    main()

(xnnehanglab) PS D:\tmp\XnneHangLab> uv run .\tmp.py
标准答案:p1完整 p2完整 p3破损 p4完整 p5破损 p6完整 p7完整 p8破损 p9完整 p10破损
输入图片数量：1
p1完整
输入图片数量：2
p1完整  
p2完整
输入图片数量：3
p1完整  
p2完整  
p3破损
输入图片数量：4
p1完整  
p2完整  
p3破损  
p4破损
输入图片数量：5
p1完整  
p2完整  
p3破损  
p4完整  
p5破损
输入图片数量：6
p1完整  
p2完整  
p3破损  
p4破损  
p5破损
输入图片数量：7
p1完整  
p2完整
输入图片数量：8
p1完整  
p2完整
p3破损
输入图片数量：9
p1完整  
p2完整
p3破损
p4破损
输入图片数量：10
p1完整  
p2完整
p3破损
p4破损
p5破损

(xnnehanglab) PS D:\tmp\XnneHangLab> uv run .\tmp.py
[Task / User Prompt]
请检查上传图像中电池哪些紫色外皮不完整导致金属边缘部分裸露,
        回复格式示例：
        p1完整/破损

###

[Tool Call Summary]
(无)

###

[Tool Call Image Summary]
本次并未回调图片。

###

[User Upload Image Summary]
以下是视觉模型对用户上传图片内容的信息：
{"id": "p1", "summary": "{
  "scene": "白色托盘中放置一节紫色圆柱电池",
  "key_items": [
    {
      "type": "object",
      "label": "电池本体",
      "detail": "单节圆柱形电池，紫色外皮包覆表面"
    },
    {
      "type": "object",
      "label": "电池正负极边缘",
      "detail": "两端金属边缘被紫色外皮完全包住，看不到裸露金属圈"
    },
    {
      "type": "object",
      "label": "电池外皮状态",
      "detail": "外皮表面平整，无明显破损、撕裂或缺口"
    }
  ],
  "visible_text": [],
  "ui_hints": [],
  "uncertainty": [
    "电池两端极柱正面细节因拍摄角度看不全，仅能确认圆柱侧面和边缘无明显金属裸露"
  ]
}"}
{"id": "p2", "summary": "{
  "scene": "白色背景上的一节紫色圆柱电池",
  "key_items": [
    {
      "type": "object",
      "label": "电池整体",
      "detail": "单节紫色外皮18650电池，放置在白色表面中央偏右"
    },
    {
      "type": "object",
      "label": "电池正极端面",
      "detail": "正极金属端面外圈被紫色套管包裹，未见侧向金属裸露"
    },
    {
      "type": "object",
      "label": "电池负极端面",
      "detail": "负极底部边缘被紫色套管完全覆盖，未见金属边缘外露"
    }
  ],
  "visible_text": [
    "IMR18650",
    "1200mAh 4.44Wh 3.7V"
  ],
  "ui_hints": [
    "仅有单个电池目标，无多电池对比",
    "电池略倾斜放置，长轴大致左下到右上方向",
    "两端边缘均清晰可见，可判断是否有金属裸露"
  ],
  "uncertainty": [
    "无法查看电池另一侧被桌面遮挡的极小部分包膜，但当前可见区域无破损"
  ]
}"}
{"id": "p3", "summary": "{
  "scene": "白色托盘中放置一节紫色电池",
  "key_items": [
    {
      "type": "object",
      "label": "电池本体",
      "detail": "圆柱形电池，紫色外皮包覆，大部分表面光滑无破损"
    },
    {
      "type": "object",
      "label": "正极端部",
      "detail": "金属帽及周围金属边缘完全裸露，无紫色外皮覆盖到此区域"
    },
    {
      "type": "object",
      "label": "侧面包胶边缘",
      "detail": "靠近正极一端的紫色外皮在金属边缘处结束，看不出撕裂或缺口"
    }
  ],
  "visible_text": [],
  "ui_hints": [],
  "uncertainty": [
    "正极附近金属裸露区域是否应被视为“外皮破损”取决于设计要求，图中仅能看到该处无包胶但无明显撕裂",
    "远端（负极一端）电池顶面因角度原因不可见，无法确认该端外皮是否有破损"
  ]
}"}
{"id": "p4", "summary": "{
  "scene": "白色托盘中放置一节紫色电池",
  "key_items": [
    {
      "type": "object",
      "label": "紫色电池外皮",
      "detail": "电池整段紫色塑料外皮包覆，无明显破损缺口"
    },
    {
      "type": "object",
      "label": "电池正极端部",
      "detail": "正极金属端面外圈被紫色外皮包住，看不到金属侧边外露"
    },
    {
      "type": "object",
      "label": "电池负极端部",
      "detail": "负极金属端面外圈同样被紫色外皮覆盖，无裸露金属边缘"
    },
    {
      "type": "text",
      "label": "电池印刷文字区域",
      "detail": "文字区域外皮平整，无破洞、撕裂或卷边"
    }
  ],
  "visible_text": [
    "WARNING",
    "Do not dispose of in fire",
    "Do not short circuit"
  ],
  "ui_hints": [
    "画面中央略偏下为单节圆柱电池，斜放于托盘中",
    "仅一节电池需要判断外皮完整性"
  ],
  "uncertainty": [
    "电池两端极小范围细节因分辨率限制可能存在轻微磨痕但未见明显破皮",
    "托盘边缘及电池远离镜头一侧细微划痕是否为外皮划伤不完全确定，但无金属裸露"
  ]
}"}
{"id": "p5", "summary": "{
  "scene": "白色托盘中放置一节紫色电池",
  "key_items": [
    {
      "type": "object",
      "label": "电池整体",
      "detail": "一节圆柱形紫色电池，位于托盘中央偏上"
    },
    {
      "type": "object",
      "label": "电池紫色外皮",
      "detail": "电池圆柱侧面紫色包覆层基本完整，无明显破损露底"
    },
    {
      "type": "object",
      "label": "电池金属边缘",
      "detail": "靠近正极一端银色金属顶盖与边缘可见，圆柱侧壁未见金属外露"
    }
  ],
  "visible_text": [
    "IMR18650",
    "3.7V"
  ],
  "ui_hints": [
    "画面中仅有一节电池需要判定",
    "应重点关注电池两端边缘与圆柱侧壁是否有金属裸露",
    "当前视角侧壁紫皮连续，看不出明显破洞或大面积缺口"
  ],
  "uncertainty": [
    "电池正负极最外圈与背面不在视野内，无法确认是否有细小破损或金属裸露",
    "图像分辨率有限，难以发现极小划痕级别的破皮"
  ]
}"}

你是一个“视觉证据抽取器”(Vision Extractor)，负责从输入的图片中提取与用户问题相关的事实/证据。
你不需要写最终的自然语言答案；最终口语化回答会由另一个 Chat Model 生成。
你的目标是：用尽可能短、可复用、可机器消费的结构化输出，准确描述图片中与问题相关的信息，并明确不确定性。

【输入组成】
- 用户问题：一段 text（可能很短、可能带指代）
- 图片：image_url（data URL 或其他方式提供）
- （可选）TOOL_TRACE 摘要：其他工具返回的结构化结果/网页预览等

【关键原则】
1) 只描述“图片里能看到的内容”
- 不要猜测图片之外的信息（比如电脑型号、用户身份、未显示的窗口内容）。
- 不要编造看不清的文字或细节；看不清就明确写“看不清/不确定”。

2) 面向“下游推理”输出
- 你的输出会被下游 chat model 用来生成最终回复；
- 因此请尽量提供：可验证的事实、可引用的文字片段、UI 结构、显著对象、可能的关键信号（例如报错、按钮、标题、文件名、路径、URL、时间戳等）。

3) 聚焦“与问题相关”
- 如果用户问题明确：优先抽取与问题相关的部分。
- 如果用户问题很泛（如“描述一下桌面”）：给出全局概览 + 3~8 个最显著元素。

4) 控制长度与密度
- 保持输出短：不写长段落，不写角色扮演。
- 重点信息列点或结构化字段，方便下游引用。

5) 隐私与敏感信息处理
- 如果图片包含可能的敏感信息（邮箱、token、密钥、身份证号、银行卡号等），请在输出中用 [REDACTED] 替代敏感字段，但仍保留其“存在性”和“类型”（例如“发现疑似 API key：[REDACTED]”）。

【输出格式（严格要求）】
你必须输出 **严格 JSON**，且只输出 JSON（不要额外解释文本，不要 markdown code fence）。

JSON schema：
{
  "scene": "一句话概述场景（<= 25 字）",
  "key_items": [
    {"type": "window|app|ui|text|object|error|file|url|code", "label": "简短名称", "detail": "关键信息（短）"}
  ],
  "visible_text": [
    "图片中可读的关键文字（每条 <= 80 字，最多 10 条）"
  ],
  "ui_hints": [
    "对下游有用的界面结构提示（最多 6 条）"
  ],
  "uncertainty": [
    "你不确定或看不清的点（最多 6 条）"
  ]
}

字段要求：
- scene 必填
- key_items 至少 3 条（除非图片几乎为空）
- visible_text 只放你“确定看清”的文字；看不清不要写
- uncertainty 必须在看不清/不确定时填写，不确定就写明原因（模糊/遮挡/分辨率不足）

【例子（仅说明，不要照抄）】
{
  "scene": "VS Code 全屏显示代码与终端",
  "key_items": [
    {"type":"app","label":"VS Code","detail":"深色主题，全屏窗口"},
    {"type":"ui","label":"文件树","detail":"左侧资源管理器展开多个目录"},
    {"type":"code","label":"Python 代码","detail":"中间编辑区显示 async 相关函数"}
  ],
  "visible_text":["run_tool_loop","ToolTrace","vision__screen_shot"],
  "ui_hints":["顶部有多个文件标签","底部有终端输出日志"],
  "uncertainty":["部分文件名过小，无法确认完整拼写"]
}