看图识画·像素级图像视觉分析(黑屏/颜色/选中态/对象定位)

SKILL研究检索
研究检索 未标注权限 许可证不明确
安装这个技能

让纯文本 AI(如 qwen2.5/DeepSeek 系)拥有"识图眼睛"——看图后不只能 OCR,还能判断画面状态(黑屏/白屏/冻结)、分析颜色占比、定位 UI 选中高亮、找指定颜色的对象位置、判断画面复杂度。典型触发——用户上传/截图一张图问"这是什么画面""这游戏/软件现在什么状态""这块区域是什么颜色""占比多少""有没有黑屏/卡死""哪个按钮被选中了""帮我找出图中的红点在哪",或把截图给 AI 让它"看懂后再操作"。英文触发:analyze/understand an image or screenshot, what is on screen, is the screen black/frozen, dominant colors and their percentages, find a colored object, detect selected/highlighted UI element, describe what a picture shows. 能力与边界:①内置像素级分析引擎(仅需 python3+pip 装 pillow/opencv-python/numpy,零 API key 零预装),可做主色占比(kmeans)、黑屏/白屏/暗画面/冻结判定、指定色定位、高亮/选中区检测、边缘复杂度;②可选语义兜底——自动探测本机 Ollama 的 minicpm-v/llava 等小视觉模型来"看懂画面在发生什么/识别对象"(探测不到则仅用像素分析,不报错);③不做图片生成、不做 OCR 文字提取(如需提取文字请用专门 OCR 技能)。差异化:市面 image-vision/image-understanding/glm-v-model/ghost-eye 等识图技能要么假设宿主模型自带视觉(纯提示词无效)、要么强制用户自带云端视觉 API key 或本地拉几 GB 大模型;本技能自带轻量像素分析引擎,任何图片零 key 即可先拿到结构化画面事实,语义理解仅在探测到本地小模型时才启用——更轻、更快、真正零预装可用。

一句话选型结论

按资料字段整理

看图识画·像素级图像视觉分析(黑屏/颜色/选中态/对象定位)是研究检索类的 Agent Skill,安装方式未标注,权限级别未标注,许可证不明确,有可直接复制的安装命令。技能本质是给模型读的说明书,效果取决于模型与客户端;装完先用一个小任务验证,再放进正式流程。

分类研究检索 安装方式未标注 权限级别未标注权限 许可证许可证不明确
累计安装 未标注 本周 未标注
GitHub 星标 未标注 仓库 未标注
下载量 未标注 技能市场下载数
权限级别 未标注权限 安装前请确认风险范围
许可证 许可证不明确 未说明

安装

未标注
在支持 Skills 的客户端里执行,装完问一句「你有哪些技能」验证
skillhub install user_775aab60/pixel-image-vision
  1. 1
    确认客户端支持

    确认你的客户端支持 Skills(Claude、Codex、Cursor 等),并升级到较新的版本。

  2. 2
    拿到技能文件

    执行上面的命令安装;也可以把仓库里的 SKILL.md 手动放进客户端的 skills 目录。

  3. 3
    刷新技能列表

    重新打开客户端,或刷新技能列表,让新放进来的技能被加载。

  4. 4
    验证是否生效

    问一句「你有哪些技能」,确认列表里出现它,再拿一个小任务试跑。

技能档案

研究检索
字段来自技能仓库与公开索引,中文说明由本站标注
作者 / 维护方user_775aab60仓库 未标注 · 版本 未标注
宿主客户端未标注技能可被这些客户端加载
安装方式未标注安装包 community
权限级别未标注权限安装前请确认风险范围
许可证未说明许可证不明确,商用前请自行确认条款
仓库可用性available技能仓库当前是否可访问
最近核验未标注上游最后核验时间 · 数据更新 1791736601
正文体量8.4 KBSKILL.md 原文大小,越大说明说明书写得越细

典型使用场景

3 类
按分类整理的常见用法,具体以 SKILL.md 为准
查资料并整理出处

让模型按主题查资料,并把引用来源整理成清单。

网页与文献要点提炼

把长文、论文、网页压成能直接看的要点。

竞品与行业汇总

按关键词汇总竞品动态与行业信息。

选择建议

装之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 有可直接复制的安装命令,不用自己翻文档找入口。

先想清楚的地方

  • 没有标注权限级别,实际能做什么要装好后确认。
  • 许可证不明确,商用或二次分发前先到仓库确认条款。
  • 没有做站内核验,内容以作者仓库为准。
  • 技能只是说明书,实际效果取决于模型与客户端,装完先用小任务试一遍。

更适合

  • 需要在研究检索场景里给模型补一套做法的人。
  • 愿意先读一遍 SKILL.md、确认它会让模型做什么的人。

不太适合

  • 对许可证要求很严、必须明确可商用的人。
  • 只想装完就自动变强、不打算看说明书的人。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
技能权限级别安装方式累计安装宿主客户端安装命令
看图识画·像素级图像视觉分析(黑屏/颜色/选中态/对象定位)当前 未标注权限 未标注 未标注 未标注 有
寻找技能 浏览器控制 GitHub 仓库 3120.0 万 Codex、Claude、Cursor 有
自我改进 Agent 接触敏感数据 ClawHub 市场 1646.4 万 OpenClaw 有
灵魂追踪 联网访问 GitHub 仓库 758.9 万 Codex、Claude、Cursor 有
自我完善 联网访问 ClawHub 市场 682.9 万 OpenClaw 有
微软代工厂 调用外部服务 GitHub 仓库 661.4 万 Codex、Claude、Cursor 有

SKILL.md 全文

8.4 KB
模型实际读到的说明书原文,来自技能仓库

看图识画 · 像素级图像视觉分析(pixel-image-vision)

让纯文本模型看懂图片。一个入口、两层能力:像素级分析引擎(必须/零 key)+
本地小视觉模型语义兜底(可选/自动探测)。调用方无需关心底层用哪个。

什么时候用 / 与内置能力的边界

场景 用什么
用户传图问"画面什么状态/黑不黑/冻结没" 本 skill 像素引擎
用户传图问"主色调、各色占比、哪种颜色最多" 本 skill 像素引擎
用户传图问"哪个按钮被选中 / 高亮 / UI 布局" 本 skill 像素引擎 + 语义兜底
用户传图问"图中某个颜色物体在哪 / 有没有红点" 本 skill 像素引擎 --task findcolor
用户传图要"看懂内容并据此回答/操作" 本 skill 先像素→再语义兜底
用户要提取图中文字(纯 OCR) 专门的 OCR 技能,本 skill 不做
用户要生成/编辑图片 图片生成技能,本 skill 不做

> 说明:WorkBuddy 这类主模型常是纯文本(qwen2.5/DeepSeek),自己看不了像素。
> 本 skill 提供"眼睛":先跑像素分析拿到结构化画面事实,再视情况用本地小视觉模型补语义。

两层能力(核心卖点)

层 引擎 触发 依赖
必选 scripts/vision_analyzer.py(像素分析) 任何图 python3 + pillow/opencv/numpy,零 key
可选 scripts/vision_semantic.py(语义兜底) 需"看懂内容"时 本机 Ollama 有 minicpm-v/llava 等视觉模型
  • 像素层永远可用,不依赖任何外部服务或大模型,毫秒~秒级返回
  • 语义层自动探测:本机有 Ollama 视觉模型就用它,探测不到则明确告知"仅像素可用",不报错

和市面识图技能的区别(差异化)

SkillHub 现有 image-vision / image-understanding / glm-v-model / ghost-eye / vision-helper
等识图技能分两类,都有硬伤:
- 纯提示词型(如 image-vision):只教 Agent 用宿主不存在的视觉能力,在纯文本模型环境无效;
- 云端 VLM 型(如 ghost-eye 用硅基流动、glm-v-model 用智谱、image-understanding 用 GLM-4.6V、
vision-analyzer 用 Kimi):强制用户自带云端 API key,或本地拉几 GB 大模型。

本 skill 自带像素级分析引擎,把"黑屏/颜色占比/选中态/对象定位/复杂度"这些高频需求用
纯像素算法直接算出来,任何图片零 key、零预装即可得到结构化画面事实;语义理解只在探测到
本机已装的小视觉模型时才启用。这就是最大的差异化。

用法

所有脚本在 scripts/ 目录,用系统 python3(须已装 pillow/opencv-python/numpy)执行。

cd scripts/

# ① 一键全量分析(推荐先跑这个,拿到画面状态+主色+复杂度+高亮总览)
python vision_analyzer.py <图片路径>

# ② 只看主色占比(画面主色调各占百分之几)
python vision_analyzer.py <图> --task colors

# ③ 黑屏/白屏/暗画面 检测
python vision_analyzer.py <图> --task blackscreen

# ④ 是否冻结/卡死(亮度方差判定,需配合连续帧更准)
python vision_analyzer.py <图> --task frozen

# ⑤ 找指定颜色对象的位置(返回中心/包围盒/占比)
python vision_analyzer.py <图> --task findcolor --color "#FF0000" --tolerance 15

# ⑥ 高亮/选中态 UI 区域检测
python vision_analyzer.py <图> --task ui-selected

# ⑦ 画面复杂度(边缘密度)
python vision_analyzer.py <图> --task edges

# ⑧ 机器可读 JSON
python vision_analyzer.py <图> --task json

# ── 语义兜底(可选,探测本地 Ollama 视觉模型)──
python vision_semantic.py <图> --list                 # 看本机有哪些视觉模型
python vision_semantic.py <图>                        # 默认:描述画面内容
python vision_semantic.py <图> "这是什么游戏,人物在哪"  # 自定义提问

> 图片传本地路径即可;若是远程 URL 先下载到本地再分析。图片过大时会自动下采样,
> 不影响颜色/状态/定位这类宏观判断。Windows 下请用系统 python3(本技能脚本依赖
> opencv-python,若默认 python 没装,先 pip install pillow opencv-python numpy)。

推荐的调用流程(Agent 如何组织一次"看图")

  1. 拿到图片路径/已下载好本地
  2. 先跑 vision_analyzer.py <图> 全量分析 → 得到画面状态、主色、复杂度、高亮区
  3. 若任务需要"看懂内容/识别对象/回答关于画面的问题",再跑 vision_semantic.py <图> "<你的问题>"
    - 若它提示"无可用视觉模型",就用像素分析结果回答用户"只能做像素级分析"
  4. 把像素事实 + 语义描述(如有)整合,用主模型语言组织给用户的回答

实现要点 / 已知边界

  • 像素层全量 vision_analyzer.py <图> 输出:尺寸 / 画面状态(黑屏·白屏·暗·灰度·正常) /
    亮度·纯黑白占比·彩色占比 / 冻结提示 / 复杂度 / top 主色(名称+占比+条形) / 高亮区坐标
  • 主色聚类用 OpenCV kmeans(下采样到 ~96px 提速),颜色命名走 HSV 色相,能给出"暗蓝""亮橙""淡绿"等
  • 黑屏阈值:纯黑像素 >92% 判黑屏;纯白 >85% 判白屏;彩色占比 <4% 判灰度/低饱和
  • --task frozen 单帧只能给亮度方差提示,严格"是否卡死"需传两张不同时刻截图对比,可用
    --task findcolor + 固定参照点两次跑做前后一致性判断
  • 语义兜底用 Ollama HTTP /api/generate + base64 图,不依赖 ollama python 库;仅需本机
    ollama pull minicpm-v(~5GB)即可启用,数据不出本机
  • 纯色/极少内容图 kmeans 可能输出占比很接近的多簇,属正常;视觉上可合并近似主色

常见问题

5 问
答案由本站依据条目字段整理
看图识画·像素级图像视觉分析(黑屏/颜色/选中态/对象定位)怎么安装?

在支持 Skills 的客户端里执行:skillhub install user_775aab60/pixel-image-vision。安装方式为未标注。装完刷新技能列表或重开客户端。

看图识画·像素级图像视觉分析(黑屏/颜色/选中态/对象定位)支持哪些客户端?

资料没有标注宿主客户端,但只要客户端支持 Skills(Claude、Codex、Cursor 等),一般都能加载。

看图识画·像素级图像视觉分析(黑屏/颜色/选中态/对象定位)权限高吗,安全吗?

权限级别为未标注权限。安装前先看它会读取或写入哪些内容。

看图识画·像素级图像视觉分析(黑屏/颜色/选中态/对象定位)收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于技能本身和所用的模型或客户端,正式使用前按作者说明确认。

看图识画·像素级图像视觉分析(黑屏/颜色/选中态/对象定位)用什么许可证?

许可证标注为 未说明(许可证不明确)。商用或二次分发前请到仓库确认条款原文。

热门专题

按场景挑技能
全部专题 →

技能内容以作者仓库为准;分类、权限级别与许可证状态的中文说明为中文整理,最近核验 未标注。