【写在前面】过去一个月,我试用多个AI 驱动的时尚购物助理。他们有的来自科技巨头比如ChatGTP 和 Google,也有备受关注的创业团队比如Daydream 和 Genspark。对比过去在电商网站上不厌其烦的勾选无数filter,反复推敲自己的搜索query,对话式购物提升了一些效果。无休止的不匹配大概能少一半,但AI 推荐的组合outfit十有八九看起来愚蠢,是因为我挑剔的专业身份吗?我问了一位爱购物的时髦朋友,身处纽约科技金融圈,她很了解这些新的技术,但试用之后她还是回到自己的Saks Stylist 身旁,这项疫情之后Saks百货提供的服务让她与造型师之间建立了信任关系:不同品牌间的尺码体系,对个人生活细节的理解,甚至在合适的时候带你走出舒适区……这种个性化的服务无疑是昂贵的,如何惠及更多的普通人?考虑到真正实现这一技术的难度,我们必须保持谨慎的乐观。

在我的 笔记集中阅读更多 AI Shopping: 如何帮你完成时尚搭配、 虚拟试穿将改变时尚、 最大的价值是提升个性化体验

1R-018 原文插图

Photographed by Steven Meisel, W, March 2014

Styling Graph (1)(2)(3)

共同的前言

在通用模型基座已经达到落地可用标准的当下,「领域知识」成为阻扰时尚行业AI Mass Adoption的瓶颈之一。Google的Agentic智能购物采用了Shopping Graph,构建了产品-卖家-品牌-评论之间的语义网络,但这种围绕「产品知识」的图谱,无法捕捉超越客观属性的细致美学、文化和主观意义。另外,在众多杰出的生图模型中,也因为对时尚风格的理解局限,导致生成的换装可控性总有遗憾。我想时尚领域知识应该还需要另一图谱用于构建视觉元素的语义网络:「时尚图谱」Styling Graph。

无论是GPT-4V还是Gemini 2.5 Pro在通用视觉理解上也只有70分,更谈不上精准的时尚生成(包括自然语言问答、生图生视频)。对此,我将分三篇系列文章从跨学科(社会学、语言学、符号学、知识管理、时尚心理等)角度,首先抛砖引玉,在理论层面尝试提出可能改进时尚视觉语言模型(FVLM)的三角研究框架:【视觉特征←→文本术语←→规则逻辑】。下一步的工作是将这些抽象思想转化为具体的计算模型、数据结构和算法,构建一个具有明确评估方法论的稳健实验设计。

最终的目标是让三角框架能用于构建视觉语言训练(VLP)的数据库,结合检索增强生成技术( RAG),为视觉语言模型(VLM)扩展能力边界,缓解模型的知识固化、长尾知识缺失与幻觉问题,使用知识图谱支撑大模型的可解释性。考虑到Agentic端到端流程场景,将其装配到两个“大脑”,供给端的专家Agent,以及用户消费端的决策Agent。每个Agent有——一个知识图谱后端确保答案正确且符合上下文,一个LLM 前端确保交互自然。

从更广阔的角度看,如果能够成功解决这些挑战,该方法将为其他需要主观解释、文化语境和隐性人类理解的领域(如艺术、设计、烹饪等)提供一个构建“文化智能”人工智能系统的蓝图。为泛化多模态知识图谱提供一个强大的范式,弥合人工智能研究中长期存在的鸿沟。

1R-018 原文插图

Part-1. 视觉特征

Symbols of Fashion

基于计算机视觉(CV)和自然语言处理(NLP)技术的发展,图像视觉特征的识别与提取也有了许多突破。在大规模「图像-文本对数据集」上,设计特定的预训练任务,采用统一的Transformer架构处理两种模态,让模型学习「视觉特征」和「语言特征」之间的对齐。在时尚应用领域,随着度量学习 (Metric Learning) 和图像掩码技术(Semantic Masking)的不断进步,对服装图像中特定区域的细粒度辨识能力、多样化的数据增强模型鲁棒性方面不断提高。

但是,仅仅提高单词对应关系的准确性还不够,不能忽视元素在消费心理的位置主次关系。对于一件单品来说,存在所谓Landmark,比如一件「女士秋季毛衫」,标志性的设计可能是多层堆叠的Volume高领,也可能占主导性的是Brat Green颜色,又或者是特殊的编织花型和Oversized的轮廓,它代表了设计师最初的意图,同时它也代表进入市场后,其他所有人“在决定性时刻”产生某种共鸣的“光环元素”(Halo Element 消费者感知未必跟生产者的初衷一致)。

过去时尚杂志上的单品Description,是媒体实习生入门的101培训。然后老编辑才会慢慢让你写整套搭配Outfit。跟一句话的单品描述突出Landmark元素类似,描述一身Mix& Match 的Credit,常常会定义一件Statement Piece,画龙点睛的单品未必是体量占比最大或者价格最昂贵的;甚至要涵盖具体的穿着方式——就像你能想象的,真丝衬衫的第一粒纽扣开合代表着两种不同的态度宣言。

同时我们也必须注意到,目前计算机提取的特征描述,还只是时尚符号的第一层抽象,即属性提示 Attributes Prompt ,它只概括了不同商品的客观特征,将属性信息编码到文本序列中。比如目前普遍采用的7级术语:款式类别、廓形(体积)、细节、颜色、材质、图案和风格(也有用场合)。但如果理解什么是真正的时尚之后,我们会发现,时尚超越了服饰本身的这些物质(实用)属性。时尚本质上是多模态的(文本、视觉、触觉、经验)且具有深刻的语境和文化背景。

遗憾的是对穿着同样重要的体感和触觉并没有纳入其中。机器无法“传感”这些数据,语言却能够生成描绘:Brat绿色的马海毛蓬松而轻盈,柔顺表面的长绒毛在高领处带给面颊温柔的轻吻……此外,更为重要和迫切的是时尚符号的第二层抽象所代表的意义(如Brat绿反映的情绪与文化族群),它来自人类后天建构与约定俗成。从人格特质、身体意象、文化背景、经济地位、社会阶级等维度,将为此前的7级属性符号系统扩展更深度的认知框架。

1R-018 原文插图

图像所表达的“第二层抽象”,由于其主观性且无限长尾;社会文化变迁与地域差异造成的流动性;品味和身份差异造成“意义获取能力”本身的不平等,使得“硬编码规则”或“静态模型”难以全面覆盖。当前的CLIP等模型已能学到图像与文本的通用语义空间,对于二层抽象意义,计算建模还没起步。这要求超越传统的嵌入空间,转向能够进行因果推理,甚至对情感的状态计算和文化的故事叙事进行符号推理的模型。建模“第二层抽象”是实现对人类经验的真正理解,这意味着需要不仅仅是图像-文本对的数据集,还需要包含情感反应、文化背景和社会影响的丰富标注。

LLM的Reasoning本质上非逻辑推理,但其在推理方面展现出的能力为后续解决方案带来可能性。 2024 年,多项研究证明,LLM 可以通过提取RDF(Resource Description Framework)数据,在极少的人工监督下从非结构化文本中构建知识图谱。这表明,利用生成式人工智能读取和吸收非结构化来源的信息,使知识图谱保持最新状态大有可为。例如,结合专业领域知识、用户行为数据等结构化外部知识,甚至是类似Affectiva的服务(提供强大的情感分析功能),模型能推测某类服饰对用户的象征意义。

我们知道大语言模型的Reasoning 只是基于语言模式拟合(pattern matching)而非真实智慧,可能会输出“一本正经胡说八道”的文化解释。但做过私人造型师或者柜台销售的人都明白,为顾客解释时尚不是回答数理题。当然这样的“自圆其说”也存在风险,由于高度依赖所接收到的先验信息,模型容易陷入数据“后视镜偏倚”或“文化惯性”误区。

1R-018 原文插图

向量空间:时尚特征的底码

对于前文提到的元素位置主次关系。我们通过Mask-Attention协同机制扩展VLM能力:语义掩码定位服装子部件,动态注意力权重计算各区域视觉显著性得分。对于Landmark特征,我们引入向量锚点技术:将标志性设计元素(如Volume高领、Oversized廓形)映射为高维空间中的独立向量,通过对比学习强化其表征。让模型不仅能识别细节,更可以量化其作为“Halo Element”的信息值。这种机制同样适用于整套搭配的Statement Piece识别——单品在向量空间中呈现为离群但高影响力节点。即使是真丝衬衫的第一粒纽扣开合这样的微动作,也能通过符号学向量化编码为方向相反的语义向量。

知识的含义不是存储在单个符号或节点中,而是分布式地编码在整个向量表示以及向量之间的相对位置和关系中。我们构建双层向量架构:一层是低级别的视觉-文本对齐空间(比如服装图像和基础描述词的CLIP向量空间),另一层是高抽象的概念-规则空间(比如风格概念或设计规则的向量表示)。“符号二层抽象”在感知层之上,引入符号化的中间表征(术语、概念)再进行高层推理。这种“神经+符号”二层架构是当前AI 研究的一个热点方向,被称为神经符号融合。其价值还体现在高层知识可以纠正和规范底层感知结果。

向量表示通常是黑箱,缺乏可解释性和可控性。如果模型推荐出某搭配,我们难以直接从向量理解是哪条知识导致的。这与引入知识库增强可解释性的初衷相悖。解决思路是在关键决策处引入符号逻辑检查。例如最终输出前,对重要规则用逻辑推理模块验证,或将规则作为约束嵌入推理过程(如通过约束优化或可微逻辑模块)。在此,我想再重复刚才已经提到的一个概念,AI的“幻觉”和“涌现”也许正是人类在做时尚搭配的时候所需要的一点意外的创作与出格的勇气。可以根据用户的保守偏好来调整这种约束。

待续……

To Be Continue

通过扩充对齐监督的知识蒸馏(Knowledge Distillation),以及混合提示词工程( Hybrid Prompting ) 、 监 督 学 习 ( Supervised Learning ) 、 强 化 学 习(Reinforcement Learning)等技术辅助对齐「视觉特征」和「语言特征」,设计”渐进式知识注入”流水线:提取低级特征→术语库匹配属性→规则引擎多跳推理高阶语义,从而搭建包含双层抽象的特征编码知识图谱,实现跨模态的知识表示和对齐,才能更好的捕获消费者隐式偏好,挖掘消费者在搜索某一特定产品背后,隐藏的内心那些说不出口的情感诉求,甚至是无人知晓的潜意识层。最终才可以为下游任务提供强大的基础。

时尚就是意义不断编码Encode和解码Decode语言的过程。马克思主义的政治经济学对时尚分析的教诲影响至今,比如社会结构约束、品味阶层化、商品拜物剥削本质等等,将一切归结为某种利益联盟的阴谋驱动;以及佛洛依德的精神分析法,帮助我们理解自我意识和身体是如何在凝视和身份建构的过程中被不断时尚化和再时尚化。

进入现代社会,语言科学中的符号学成为主流的时尚分析法。也许是巧合,当下计算机语义科学中,知识图谱就是符号知识的完美体现和主要存储形式。

Part-2,我将回到古老的语言学。下周见!

欢迎订阅我的笔记: 数字时尚