👋 你好,我是 HenYan

知识实验室

记录 AI Agent 架构设计、工程实践与技术探索的公开知识库。

🕐 最新文章

查看全部 →
📚Agent 架构演化系列

Agent 感知与输入层:从多模态 VLM 到 GUI Agent 的"眼睛"进化之路

系统拆解 Agent 五层架构第 4 层——感知与输入层:从多模态 VLM 的发展历程(CLIP→Flamingo/BLIP-2/LLaVA→Gemini/GPT-4o 原生多模态)与视觉 tokenization 底座,到 GUI 感知三条接口(DOM/AXTree/截图),再到 OmniParser 屏幕解析与 UI-TARS 原生 GUI Agent 模型,以及感知评测基准与工程挑战,并以 LogicAI2 为例给出文本型 Agent 的感知扩展路径。

#Agent#Perception#VLM
📚Agent 架构演化系列

Agent 工具与行动层:从 Function Calling 到 MCP 与 GUI Agent 的进化之路

系统拆解 Agent 架构工具与行动层的进化主线——从 Toolformer 自监督工具学习、Function Calling API 与 /v1/chat/completions 协议解剖,到新一代 Responses API,再到工具学习与检索(Gorilla/ToolLLM/APIGen/Tool RAG)、MCP 协议标准化与 GUI Agent 全能之手,并以 LogicAI2 为例给出工具层落地的真实进展:ToolRegistry 与官方 SDK MCP 接入已完成,统一执行网关与全量审计正在推进。

#Agent#Function Calling#Responses API