【写在前面】年初写《低成本AI时尚模型数据集的最后窗口期》,主要讨论了数据合规,对于数据如何运用于模型,以及模型落地场景都没有深入。实在是没有精力系统梳理,这对于非技术出身的我来说也太难了。上一次密集研读20多篇论文,还是为了写《AI虚拟试穿将改变时尚 Virtual Try-on in Style》。

我做了20多年时尚工作,一半的时间在女性杂志做编辑工作。从服装造型师(Stylist)起步,如何做搭配(Mix & Match)不仅仅是最基础的职业训练,最后我也意识到,它是时尚风格最核心的部分,无论是日常实用穿搭,还是封面上的极致造型。

穿衣搭配对个体来说,是很私人化的选择,也许并不值得思考其中的学问与逻辑。但作为职业,我们曾经的创作历程,那也算历经百年传承下来的一门手艺吧?它更多时候是一种抽象的经验,属于隐形知识的范畴,能够被显性吗?能够被结构化吗?在AI帮助下,它能被泛化成通用的智能吗?

1R-004 原文插图

【综述摘要】

伴随消费者个性化需求和服饰SKU数量的爆炸式增长,以及线上购物地位的不断上升,智能服装推荐系统日益成为提升用户体验和销售转化的关键工具。早期的电商网站通常采用简单的关联推荐(例如“购买此商品的顾客也购买了…”),但这种基于共购的推荐未必在风格上兼容,用户对Total Look的需求未被顾及。

近年来,学术界和产业界提出了一系列创新模型来自动完成服饰搭配推荐,力求让推荐的整套穿搭在整体兼容性、美学感和时尚度上更加出色。特别是深度学习的进步催生了诸如图神经网络(GNN)、自注意力模型(Transformer)等技术在时尚搭配中的应用,大幅提升了推荐结果的审美质量。

搭配推荐问题通常被定义为给定若干时尚商品,推荐与之风格兼容的其他商品,从而组成一套完整穿搭(Total Look,或者称为Outfit)。早期研究多关注两件商品之间的兼容性度量,试图将商品映射到某个“风格空间”,使得在该空间中相容的商品距离更近。例如,Veit等人采用成对的Siamese卷积神经网络(CNN)学习服饰图片的嵌入表示,并用欧氏距离衡量搭配程度。McAuley等人则提出了低秩的马氏距离变换来度量跨品类商品的相容性。这类方法为时尚推荐建立了基础,但局部的两两组合,包括对layer(多层次搭配,这一Mix & Match的灵魂)的忽视,无法充分表示完整服装穿搭的整体美感。

随着Polyvore等高质量时尚搭配数据集的出现,研究者开始探索整套Outfit级别的兼容性学习。Han等人(2017)利用双向LSTM序列模型,将Outfit视作无序序列来学习兼容性评分。后来,一些方法尝试将Outfit组合映射到多个风格子空间,以捕捉不同维度的匹配关系。然而,Outfit的兼容性涉及多件单品之间复杂的多元关系,难以用简单的序列或向量距离完全刻画。

1R-004 原文插图
1R-004 原文插图

【图片说明】Polyvore Dataset的核心在于其结构化数据与深度学习的巧妙结合。它不仅包含了21,889套精心挑选的时尚搭配(其中 17,316 套用于训练,1,497 套用于验证,3,076 套用于测试) ,每一套都附带详尽信息-—从单品描述、价格到用户互动数据(如点赞数和浏览量),还特别提供了用于评估的“填空式”时尚推荐任务和时尚兼容性预测任务,这些都是通过JSON格式组织,便于机器处理。技术层面,利用双向LSTM (Long Short-Term Memory)模型,项目旨在捕捉时尚元素之间的复杂关联,学习如何在无数搭配中找出最具吸引力的组合。Polyvore是时尚搭配拼图灵感簿的鼻祖应,用户可以组装可购物的拼贴画Moodboard或“套装outfit”,例如,用户可以选择一件夹克,然后一条裤子、鞋子、衬衫和配饰会立即在手机屏幕上排队,以搭配出一套推荐的搭配造型。用户可以滑动选择,直到找到自己喜欢的整套服装。Polyvore 受到零售品牌的青睐,因为其订单价值高达 385 美元(据 Monetate 2014 年的报告,高于 Facebook、Instagram 或 Pinterest),并且经常位列品牌流量驱动的前三到五名。考虑到当时其月度用户刚刚才超过 2000 万。2015年Polyvore 用户社区每月设计大约 300 万套服。其中约 4500 万套服装被其他用户“点赞”,75% 的服装在Tumblr、Pinterest 和 Instagram 等社交媒体网站上分享。以Farfetch 为例,Polyvore 用户帮助销售其网站上的 26,000 种产品,他们采用了大约 388,000 套服装,一个月内在 Tumblr、Pinterest 和 Instagram 上分享了 605,000 次。雅虎 (Yahoo)当年 7 月收购 Polyvore,具体条款未披露,但据报道,收购价格超过 2 亿美元,作为交换,雅虎将获得一批宝贵的忠实用户。

为此,2019年前后出现了图结构建模的思路:将一套Outfit表示为一个图或超图,其中节点代表服饰单品或类别,边表示它们在同一搭配中共同出现的关系。典型例子如Cui等人提出的“全局穿搭(Dressing as a Whole)”模型,构建节点为服饰类别的图,并利用节点级图神经网络(NGNN)捕捉任意两件单品间的相互作用,从而预测整套搭配的兼容得分。实验表明,该方法在填空式搭配补全和兼容性判别任务上均显著优于之前的Siamese网络、LSTM等方法。

与此同时,电商与社交平台的大规模数据也推动了多模态深度模型的发展。服饰商品通常伴随图像、标题描述、属性标签等信息,如何融合这些模态以理解商品细节成为提升搭配效果的关键。研究者提出了一种基于注意力机制的多模态特征融合方法,将商品图像和文本描述结合,关注细粒度特征(如衣服上的图案、配饰的颜色),从而更精准地评估两件商品是否“搭”。

实验显示,多模态注意力融合能有效提升Outfit推荐的准确度。此外,一些工作引入生成式模型来直接“想象”出搭配方案。早期如CVAE(条件变分自编码器)曾用于根据给定单品生成匹配的服饰,最近扩散模型(Diffusion Models)更展现出生成高清服装图像的能力。生成式方法为突破既有商品库、创造全新搭配提供了可能。

从实际采用来看,来自柏林的Zalando,正在其应用和网站上推出由ChatGPT驱动的时尚助手测试版,旨在使在线时尚发现和购物更加直观。该助手将使用自然语言搜索Zalando的广泛产品范围,根据查询(如类型和特定位置的天气条件)提供个性化的服装推荐。来自纽约的Daydream在2024年获得5000万美元的种子轮融资,旨在打造一个平台,让人们能够利用生成式人工智能、机器学习和计算机视觉技术搜索和发现商品。人们可以使用自然语言提示进行搜索,例如“查尔斯顿花园派对的淡彩色连衣裙”或“纽约商务会议的高端西装”。Daydream会展示参与品牌的商品选择。另外,核心团队由华人构成的Serendipity One Inc,正在推出全球首款AI 时尚智能助理Gensmo,旨在让造型设计变得轻松、精彩,并展现您的独特个性。通过将生成式 AI 无缝融入个人造型设计,Gensmo 可帮助用户以前所未有的方式发现、整理和优化您的时尚选择。凭借先进的多模态 AI 模型,它可根据用户的体型、偏好和场合提供高度个性化的推荐,确保从灵感到完美造型的无缝衔接。

总的来说,服饰搭配推荐的研究已从度量学习(学习一个兼容性度量)、判别模型(判断搭配好坏)拓展到生成模型(直接生成搭配方案)。时尚图像属性识别的精度已达到90%的高点,但图像与文本之间的跨模态检索准确率仍落后于约70%。最典型的挑战之一是缺乏专业领域知识。尽管在大量数据上训练,当前的基础模型仍因缺乏结构化知识而难以理解领域内的特定部分。

在数据集方面,现有的跨模态时尚理解模型主要局限于文本-图像对。几乎没有时尚导向的模型尝试超越这一点,包括视频-文本和3D-文本等其他模态,这些对于更全面的时尚数据理解至关重要。设计针对特定领域的结构化知识系统有利于模型训练,是一种直接但成本高昂的方法。或者,利用网络剪枝和知识蒸馏等技术为增强知识提供了潜在的解决方案。

接下来,我将分为上下两个部分具体展开。对技术细节不感兴趣的朋友,阅读可以就此终止。

1R-004 原文插图

【上篇】 具体的五个方法:

提升模型推荐能力的关键

理想的穿搭推荐需要判断多件服饰搭配在一起是否美观协调。这涉及对服饰视觉风格的理解,以及主观的时尚审美判断。早期研究多采用度量学习(metric learning)的方法,将服饰物品映射到一个嵌入空间中,用向量距离衡量兼容性。常见评测包括兼容性预测(判断一套搭配是否和谐)、Fill-in-the-Blank (FITB)填空测试(给定部分单品,选择最匹配的补全单品)、以及互补推荐(给定已有单品推荐与之相配的单品)。近年来还出现了整套穿搭生成(根据用户偏好生成完整服饰组合)以及交互式推荐(根据用户反馈逐步完善搭配)。模型在这些任务上的准确率或召回率体现了推荐质量。

此外,学界开始关注模型的时尚审美能力,例如通过专门的基准测试衡量模型对颜色、平衡感等美学要素的把握。比如Aesthetic100(A100)测试,专门用于评估模型的时尚审美能力。A100包含自由审美测试(LAT)和学院派审美测试(AAT),覆盖颜色搭配、款式平衡、材质协调等多方面标准,对模型进行细粒度审美打分。

1-1. 基于图神经网络的推荐模型

图神经网络(GNN)在服饰搭配建模中展现出强大能力,能够捕捉多件商品之间的复杂关系。与早期仅依赖两两相似度的模型不同,GNN将整套搭配视为一个图结构,通过消息传递机制学习全局兼容性。例如,Cucurull等人提出基于图卷积网络(GCN)的模型,将每件商品作为节点,搭配关系作为边,利用上下文感知动态调整商品表示。这种方法不再局限于简单的图像特征对比,而是综合考虑历史搭配数据,在Polyvore和Fashion-Gen等数据集上取得了最优性能,且随着上下文信息的增加,模型表现持续提升。

进阶方法

为更精准地建模多商品间的复杂关系,研究者进一步优化了图神经网络的构建方式,这些方法在全局层面上聚合信息,相比传统度量学习显著提升了兼容性预测的准确性。

超图模型:将整套穿搭视为超边,一次性建模多元关系,而非两两连接。例如,OCPHN模型采用超图神经网络(HGNN),将搭配中的所有商品作为一个超边,以捕捉高阶组合关系。

层次图模型:如Duan等人提出的层次化时尚图网络(HFGN),同时建模用户-商品交互和商品-商品搭配关系,增强个性化推荐能力。

代表性成果

GNN在服饰搭配任务中多次刷新记录,这些成果表明,GNN在服饰搭配建模中具有强大的表达力和实用性。典型研究包括:

MOCM-MGL(Song等人):构建多模态图,融合视觉、文本和类别信息,在Polyvore-Outfits数据集上超越以往方法。

MAEG(Duan等人):结合属性语义度量与注意力机制,不仅在大规模数据集上表现最优,还能解释语义属性对搭配的影响。

NGNN(节点级图网络):将服饰类别(如上衣、裤装)作为节点,通过GNN消息传递学习协调性,并利用注意力机制计算整体兼容评分。

OCPHN(超图模型):2022年,通过超图卷积迭代更新节点表征,并采用注意力机制筛选关键类别,更直观地建模商品间的衬托或冲突关系,推荐效果优于传统序列或普通图模型。

1-2. 基于Transformer的推荐模型

Transformer凭借其强大的自注意力机制,在时尚搭配任务中展现出卓越性能。这类模型将整套穿搭视为无序集合,通过自注意力计算单品间的两两关系,从而学习整体风格表示。这一架构为时尚推荐系统提供了高效、可扩展的解决方案,兼具技术性能与商业价值。

无序集合处理:自注意力机制天然适配穿搭的无序性。

遮蔽预测任务:通过“填空”学习单品间隐含关系。

个性化融合:用户历史行为与兼容性信号的双重优化。

代表性成果

OutfitTransformer(亚马逊):在输入序列前添加可学习的“Outfit令牌”(类似BERT的[CLS]标记),通过Transformer编码器捕获全局兼容性,最终输出整套搭配的表示。该模型摒弃位置编码,确保对物品顺序不敏感,在Polyvore等数据集的兼容性预测和填空任务中超越LSTM与图网络。

POG模型(阿里巴巴):采用编码器-解码器架构,首先生成通用搭配表示(FOM),再融合用户偏好信号生成个性化推荐。其通过遮蔽预测任务(类似“填空游戏”)强化模型对单品间隐含关系的理解,在淘宝iFashion应用中点击率提升70%,兼容性判断AUC达86.3%。

进阶方法与未来方向

Transformer与用户个性化

Transformer能够进一步与用户历史行为结合,使用多模态数据(如用户评论、场景信息)和实时交互,提升推荐精准度。Jung等人提出的History-Aware Transformer (HAT)模型堆叠了两个Transformer:一个生成候选搭配的表示,另一个利用用户过往购买的搭配历史来调整评分。训练过程中,HAT综合使用了兼容性焦点损失、对比损失以及自适应边际损失,鼓励模型区分用户已购穿搭与无关穿搭,并贴合用户风格偏好。

在IQON3000和Polyvore数据集的测试中,HAT在困难兼容性预测任务上的AUC比先前最优结果提升了15.7%和19.4%,在困难FITB任务上的准确率也分别提升6.5%和9.7%。这表明引入用户历史的Transformer大幅增强了个性化和搭配一致性,使推荐结果更符合个人品味。

基于Transforme的生成式扩展

Diffusion(扩散模型)能够根据文本或其他条件生成高清逼真的时尚图像,被用来一次性地产生多张彼此风格协调的服装图片。例如2024年的DiFashion模型将扩散生成与Outfit推荐相结合,借助分类器自由引导技巧保证生成图像的清晰度与指定条件的一致性,同时设计了“互映编码器”在扩散过程中提取多张图像间的兼容信息,确保生成的多件服饰在风格上和谐搭配。DiFashion还引入了用户历史喜好的“偏好编码器”,使生成的Outfit带有明确的个性化烙印。

这类生成式方法为时尚推荐开辟了新方向:未来用户不仅能收到系统从库存中挑选的搭配方案,甚至可以得到AI全新设计、满足其品味的服装组合。例如用户给出一个模糊的穿搭灵感(“波西米亚风夏日度假装”),AI能够生成多套符合描述的虚拟Outfit形象供用户参考,哪怕这些搭配中的单品实际并不存在于库存中。AI或许可以设计出市场空缺的服饰款式,并反馈给品牌进行生产,从而实现“以需定产”。

1-3. 可解释性与可视化推荐模型

时尚搭配往往带有主观审美色彩,提高模型可解释性有助于赢得用户信任,并帮助用户理解推荐原因(例如为什么这件上衣配那条裙子)。为此,一些研究专注于设计可解释的推荐模型。

典型的如PAI-BPR模型(Personalized Attribute-wise Interpretable BPR):该模型在Bayesian Personalized Ranking框架中融入了属性级别的解释机制。PAI-BPR同时建模一般物品-物品兼容性和用户个性偏好,通过定位搭配中不和谐或和谐的属性,来解释推荐结果。

例如,如果某用户不喜欢花纹冲突的搭配,PAI-BPR能够识别出一套候选穿搭中花纹属性的不协调之处并据此调整评分。实验在真实数据集IQON3000上验证了该模型的有效性。通过属性级信号的融入,PAI-BPR实现了对兼容性的个性化解读:告诉用户哪一对单品的哪种属性(颜色、图案、材质等)影响了搭配效果。

另一类方法将可解释性嵌入到图神经网络框架中。Duan等人提出的MAEG(Metric-Aware Explainable Graph)网络,先通过潜在语义提取模块将商品映射到若干属性度量空间(如颜色空间、款式空间),再构建图卷积网络来建模用户偏好与上下文的交互。模型中特设的成对偏好注意力模块可以衡量用户偏好与当前上下文在各属性上的匹配程度。

MAEG因此能够给出每个推荐决策中,不同语义属性和上下文关系的贡献度。例如,它可以回答“在这套搭配里,太阳镜的颜色是否比款式更重要?”等问题。值得注意的是,MAEG在提供解释的同时保持了性能的提升:在两个大型数据集上其推荐效果超越了先前SOTA,并能直观地高亮出驱动兼容性的属性因素。

多模态可解释推荐:有些研究通过可视化注意力等手段提高解释性。例如利用Grad-CAM等技术在图像上高亮模型关注的服饰区域,或通过生成文字描述解释搭配理由。不过总体来说,当前最有效的还是基于属性和知识的解释模型,如PAI-BPR这类融入显式属性偏好的方法。这类模型兼顾了时尚专业知识(颜色理论、款式搭配规则)与个体喜好的表达,能够在保持推荐准确性的同时,给出让用户信服的理由。

1-4. 图文多模态融合模型

服饰商品同时具有视觉外观和文本描述(商品名称、描述、用户评论等),单纯依赖图像难以全面理解商品风格。多模态融合模型通过结合图像和文本信息来提升搭配推荐效果。早期简单的做法是共同嵌入空间:分别提取图像特征和文本特征,将它们映射到同一向量空间中进行匹配计算。然而,这种方法无法充分挖掘不同模态间的细粒度关系。

注意力融合方法:近年来出现了更高级的融合架构,例如模态间注意力机制。Laenen和Moens的研究比较了多种视觉-文本特征融合方法,发现基于注意力的融合优于简单拼接。他们的模型利用双线注意力让图像和描述文本互相指引关注的重点,例如服饰图像中与文本描述某风格关键词对应的区域,从而学习到更一致的多模态表示。实验证明这种注意力融合在搭配推荐准确度上明显优于早期的公共空间方法。

类别与语义信息:除自由文本外,一些结构化的类别属性也被纳入多模态模型。Song等人提出,在融合视觉和文本时,将服饰的类别(如“连衣裙”、“运动鞋”)作为独立的第三种模态处理。他们的MOCM-MGL模型包含视觉CNN、文本编码器(如TextCNN或BERT)和类别嵌入,各自提取低层和高层特征。然后通过图神经网络在这三种模态的节点间传播信息,包括模态内(如图像-图像之间)的兼容性和跨模态(如图像-文本之间)的兼容性。这样,模型可以识别例如“一件衣服视觉上很好,但描述标签表明风格不符”的情况,从而更准确地评估兼容性。MOCM-MGL在Polyvore Outfit数据上表现出卓越的性能,证明同时考虑视觉、文本和类别语义能够提升搭配预测的准确性。

多模态融合还有助于增强模型的审美判断力。例如,文本描述往往包含风格或场合等隐含信息,可以帮助模型判断搭配是否符合特定场合礼仪或流行趋势;用户评论可提供关于款式是否受大众欢迎的线索。这些信息与图像特征互补,使模型对“美感兼容性”的把握更加全面。因此,多模态模型往往在用户满意度和主观评价上优于仅视觉模型。一些研究也在尝试大规模预训练的视觉-语言模型(如CLIP、FashionBERT)用于搭配推荐,将开阔的跨模态知识迁移到时尚领域,以期进一步提升推荐质量和审美符合度。

1-5. 强化学习用于交互式Agent

以上方法多在静态数据集上训练评估,缺少模拟真实用户交互场景。强化学习(RL)方法将时尚推荐视为序贯决策过程,Agent 可以根据用户的实时反馈不断调整推荐策略,从而个性化地优化用户满意度。

Becattini等人提出的交互式服装推荐模型就是一项开创性工作:该方法在无用户先验的假设下,利用强化学习代理与用户实时交互,逐步完善一套搭配。在每一步,Agent代理根据用户对前一件推荐单品的反应(喜欢/不喜欢),来选择下一件搭配单品。由于真实训练中难以反复获取人类反馈,引入了一个用户反馈Agent(代理用户模型),用作模拟用户偏好的环境,以在训练阶段提供即时的奖励信号。

实验表明,RL智能体可以逐步改进自己的推荐,使生成的整套服饰越来越符合特定用户的偏好。相比之下,不具备探索能力的非强化学习模型在这一交互任务上表现不佳。换言之,RL方法通过在训练中探索不同搭配组合并观察反馈,学会了适应用户的个性化审美偏好,在冷启动情境下也能动态建立用户画像并优化推荐。这一结果揭示了将用户纳入循环、持续学习的推荐框架在时尚领域的潜力。

此外,还有研究(如AdaptiveCloset)尝试将RL用于用户衣橱管理,通过持续学习用户的穿衣风格来推荐每日搭配,显示出提升用户长期黏性的可能性。

当前RL时尚推荐多停留在概念验证阶段,交互频次和反馈形式较为简单。在真实应用中,还需解决状态空间巨大(海量商品组合)和奖励设计(如何量化审美满意度)等挑战。但可以预见,随着人机交互和对话式时尚助手的兴起,强化学习将在多轮对话搭配、根据场景/心情即时调整穿搭等方面发挥更大作用,提升推荐的贴心度和趣味性。

1R-004 原文插图

【下篇】要素分析与展望:

模型如何提升审美与兼容性

在上述模型/方法的基础上,我们进一步分析这些技术是通过哪些关键要素来提升穿搭推荐结果的美学和兼容性的:

2-1. 技术的关键要素

全局风格建模与注意力机制:

时尚搭配的审美评价往往依赖于整体效果。Transformer和GNN模型通过全局建模很好地解决了这一点。例如Transformer的自注意力机制让每件单品都能“看”到Outfit中的其他所有单品,捕捉全局的搭配风格;GNN图神经网络通过信息在图上的传递迭代,直观地汇聚了多件商品的特征。

注意力机制还被用于计算Outfit的最终评分,例如NGNN和OCPHN在汇总节点表示时赋予更关键的部位以更高权重。这些做法都使模型能够关注到决定搭配美感的一组关键元素组合,而非孤立地看待某两件单品是否匹配。

细粒度特征提取与多模态融合:

优秀的搭配推荐需要理解服饰的细节,比如两件衣服图案是否协调,配饰的色调是否呼应服装主色等。注意力融合技术针对这一需求,在图像与文本特征中自动挑选细节进行融合。例如当一双高跟鞋和一条连衣裙款式匹配,但颜色不搭时,模型可以通过关注颜色描述词或图像颜色直方图来判断不兼容。

多模态融合确保推荐不仅“款式对路”,在颜色、材质等视觉细节上也养眼和谐,从而整体提升审美品质。此外,一些工业系统还利用商品的属性标签(如风格类型、季节、版型等)来辅助模型判别。这等同于引入先验知识约束,让推荐结果更符合时尚常识(例如夏日穿搭少推荐厚重外套,正式场合避免破洞牛仔等)。

风格嵌入学习与兼容性度量:

许多模型通过学习风格嵌入空间来度量搭配的兼容性,即将服饰映射为向量,用向量间的距离或某种相似度函数表示搭配好坏。为使这一空间有效,研究者设计了多种度量学习目标。

MCAN利用服饰的层次类别信息(粗类如“上衣/下装”,细类如“衬衫/短裤”)约束搭配合理性,同时在训练时设计了Tuple三元组损失配合半难例样本挖掘,使得学到的风格空间更紧致,差的搭配被明显区分开。

另一常用策略是分类损失:将任意一套真实Outfit判定为“兼容”(正样本),而对乱搭配的集合判定为“不兼容”(负样本),训练一个二分类模型输出兼容概率。这种方法直接以人类标注或用户行为为监督信号,优化模型输出的兼容评分接近1或0。但由于“时尚度”较为主观,纯分类有时不稳定,因而一些研究结合度量学习和分类的多任务损失,既保证距离上的区分度,又确保评分符合概率含义。

最终,这些嵌入空间和评分函数让系统能够快速计算任意商品组合的美学匹配度,为推荐排序提供依据。Pinterest的Complete The Look系统就是典型例子:它将每件商品映射到一个风格向量,当用户浏览某商品时,系统在预先构建的候选库中寻找与之风格向量接近的其他类别商品作为搭配推荐。这种近邻搜索基于高维向量的相似度,在大规模商品库中也能高效实时完成(Pinterest采用了近似最近邻索引以毫秒级返回结果)。

类别与场景知识的融入:

人类在搭配服饰时通常有场景和类别的概念,例如“上衣要配下装”“正式场合要穿正装鞋”等。这些高层规则也通过技术方式融入到了模型中。

一方面,模型会显式地利用服饰类别信息来指导推荐。Pinterest系统在用户查询某件商品时,首先识别其所属类目,然后只从与该类目互补的特定类目商品中选取候选(例如查询类别是“上衣”,则限定推荐来自“鞋”、“裤子”、“包”等互补类目)。这种做法确保了推荐结果在品类搭配上符合常理。

另一方面,有些模型允许根据场景条件进行推荐,比如MCAN模型支持用户指定一个大致需求(如需要一套“商务休闲”风格的搭配,或指定某单品必须出现),模型会在兼容性计算中把这些条件考虑在内。再例如,有研究利用主题模型从社交媒体中学得“风格主题”,在推荐时匹配用户当前需求的主题,从而提供情景相符的穿搭建议。

虽然场景化推荐还处于早期探索,但在实际应用中我们已看到一些简单形式:许多购物平台提供了“按场合筛选”的选项(如通勤、约会、运动等),未来这些规则有望由AI自动学习获取,更加灵活地适应用户的使用情境。

1R-004 原文插图

通过以上技术要素的协同作用,现代服饰搭配模型在很大程度上实现了对“好搭配”的自动化判断。无论是全局注意力捕捉整体风格,还是细节特征保障视觉协调,这些进步都使AI推荐的Outfit更接近专业造型师的水准。下面,我们将进一步讨论这些模型如何面向用户多样性进行个性化调整。

2-2. 个性化与用户多样性考虑

时尚是高度个性化的领域:不同用户的审美偏好、身材特征、所处场景各不相同。优秀的服饰推荐系统需要能够针对用户多样性提供定制化的搭配方案。近期模型在这方面也做出了诸多努力:

融合用户偏好的个性化推荐:

传统推荐系统常用协同过滤利用用户历史行为,但在穿搭场景,仅依据购买记录可能无法全面反映用户的穿衣风格。为此,新一代搭配模型直接将用户偏好嵌入到搭配生成过程中。例如阿里巴巴的POG模型在通用搭配模型基础上,加入了一个用户偏好编码器,将用户最近点击过的商品和Outfit记录提取特征,融入Transformer解码器的输入,使生成的Outfit贴合该用户的风格。

也就是说,同样一件主打单品,系统会因为用户不同而给出风格迥异的搭配组合(喜欢甜美风的用户可能收到浅色系柔美搭配,而偏好潮流的用户则收到前卫混搭)。这一策略等于为每位用户量身打造一个“风格空间”转换,将大众流行搭配转化为符合个人品味的版本。

实践证明,这种个性化生成有效提升了用户对推荐的接受度和点击率。除了深度生成模型,一些工业系统也结合协同过滤和内容推荐双管齐下:先用深度模型筛选美学上兼容的搭配,再结合用户历史偏好对结果重新排序,以优先展示用户感兴趣的风格类型。例如淘宝的推荐常先根据商品视觉相似度找出若干候选Outfit,再用用户行为模型预测用户对每套Outfit的偏好分,综合挑选最终结果。总体而言,“先保证好看,再匹配喜好”已成为个性化时尚推荐的基本准则。

基于数据的用户风格学习:

有研究尝试通过分析大规模用户行为数据直接学习用户的风格倾向。例如POG随论文发布了包含3.57百万用户、2.8亿次点击的海量行为数据集。通过聚类分析可能发现,不同用户群在搭配选择上存在共性,如偏爱简约风的用户群和钟情华丽风的用户群,他们各自的历史Outfit可以提炼出相似的搭配特征。

模型可以借助这种群体偏好来弥补个体数据稀疏的问题:先学习一个通用的兼容性模型,再对每个用户(或用户簇)进行少量参数的微调,迁移到个性化模型上。这种两阶段训练策略已在一些学术工作中验证有效——第一阶段确保模型掌握基本的时尚搭配规律,第二阶段让模型针对用户细分市场进行个性化雕琢,即使单个用户数据有限,也能通过与相似用户共享特征来提升推荐质量。

未来,随着时尚平台积累更多的用户穿搭行为数据(例如用户在搭配社区发表的穿搭秀、点赞收藏的Outfit等),我们可以构建更加精细的用户时尚档案,让AI更深入地了解每个人独特的风格偏好,从而输出真正“懂你”的搭配方案。

场景化和上下文感知推荐:

用户在不同场景下的着装需求差异巨大,比如工作日通勤、周末休闲、晚宴派对等都会影响他们选择服饰的风格。因此,场景或上下文信息也是实现多样性推荐的重要考量。

一些系统开始允许用户在搜索时指定所需搭配的使用场景或主题,然后推荐结果会限定在相应风格范围内。例如Pinterest曾探索“场景到商品”的推荐,即根据一张场景图片(如海滩度假照片)来推荐适合该场景的服饰单品。类似地,如果用户明确表示需要一套“冬季户外运动”的穿搭,系统可以优先选择厚实保暖和运动风格的单品。

尽管在学术研究中,我还没找到场景化推荐有统一的建模框架,但可以预见未来的算法会将时间、地点、活动等上下文纳入决策。例如结合天气数据可以更好地推荐应季服饰;根据用户日程(工作/宴会)提供对应场合的着装建议等等。这将使推荐更加贴合用户当下的实际需求,从而提升满意度。

体貌特征与个性需求:

除了风格偏好,不同用户的身高、体型、肤色等客观因素也影响他们对服装的选择。一套搭配在高挑身材上效果出众,但未必适合娇小身材;某些颜色在不同肤色人群上呈现效果差异也较大。

目前大部分自动搭配模型尚未直接利用用户的体貌参数作为输入,这方面更多是在虚拟试衣和尺码推荐等环节有所体现。然而,行业已经展现出对包容多样性的重视迹象。例如谷歌的AI虚拟试衣应用同时采用了40种不同身材模型来展示服装效果,帮助用户在网购时想象衣服穿在自己身上的样子,从而提高包括不同体型、肤色用户在内的全体消费者的满意度 。

这一技术间接地影响了服饰推荐:拥有虚拟试穿功能的平台,更可能根据用户试穿反馈调整推荐策略,比如减少向某用户推荐他试穿后不满意版型的类似款。展望未来,穿搭推荐系统能可视化地获取用户的身体信息(通过用户提交数据或图像分析)来定制化搭配建议。例如,对于高个子用户推荐叠穿长款风衣的造型,而小个子用户则搭配高腰线拉长比例;根据肤色推荐相衬的配色方案等。

这种“量体裁衣”的智能将极大拓展AI时尚助手的实用性。当然,此举也需注意用户隐私和感受,宜在用户自主提供信息或授权的前提下使用。

1R-004 原文插图

2-3. 对未来趋势的展望

面向未来,人工智能在服饰产品搜索与搭配推荐领域依然有广阔的发展空间和亟待攻克的挑战。本章结合当前研究热点,对未来可能的技术方向和行业趋势做出展望:

多模态交互与时尚社区结合:

下一代时尚推荐将不仅局限于纯文本或图片的交互,可能融入语音、视频甚至脑机接口等多模态。用户或许可以直接对着智能镜子说出自己的需求:“给我搭配一套参加婚礼的礼服”,系统即时给出建议并投影在镜子中。

同时,社交元素也会更多融入推荐,例如结合时尚社区,让AI从时尚达人的搭配帖中学习潮流,并推荐给其他相似风格的用户,实现“AI+达人”的混合推荐。

此外,直播购物的兴起也会催生实时推荐:主播试穿某件新品时,AI在后台为当前直播间观众人群生成几套关联搭配,在直播中同步展示“看这件上衣还可以这样搭”,提高带货转化。这需要算法能够快速响应实时数据,并与内容生成无缝衔接。

虚拟试衣与推荐的结合:

虚拟试穿技术日趋成熟,未来与穿搭推荐将形成互补融合的关系。用户可以先通过推荐系统获得一套搭配建议,再利用虚拟试衣功能将这套搭配“穿”在自己的虚拟分身上观察效果,进而决定取舍。

这将极大增强线上搭配推荐的说服力和用户信任。例如,一套AI推荐的衣裙+外套组合,用户试穿后发现外套版型不适合自己的身形,他可以在系统交互界面要求调整外套款式,AI随即针对他的体型重新推荐其他外套并实时试穿。这样的闭环交互需要算法能够根据试穿反馈动态调整推荐,即所谓实时反馈学习。

技术上,这涉及人体识别、3D建模和推荐算法的打通,是一个复杂但前景诱人的方向。随着AR眼镜等设备的普及,未来逛网店可能就像玩换装游戏般直观,这对推荐算法的速度和准确度也提出了更高要求。

个性化体验与隐私保护的平衡:

虽然个性化推荐带来了巨大价值,但随之而来的用户数据隐私和算法公平性问题不容忽视。时尚偏好属于个人敏感信息,用户可能担心自己的数据被滥用或泄露。未来的推荐系统需要在个性化与隐私之间取得平衡。

一方面,技术上可采用联邦学习、差分隐私等手段,在不直接传输用户原始数据的情况下训练个性化模型,从而保护隐私。另一方面,在算法决策上需注意避免偏见和刻板印象,例如确保不同年龄、性别、尺码的用户都能得到同等丰富的搭配建议,而非因为训练数据不均而使某些群体总收到单一风格的推荐。

监管层面对AI推荐的透明度要求也在提高,未来系统可能需要能够向用户解释推荐理由,比如“推荐这件夹克因为它和您喜欢的牛仔裤在风格和色调上很相配”,从而增加用户对AI推荐的信任度。

更全面的时尚价值评估体系:

当前搭配模型的评估大多依赖人工标注数据或离线指标(如兼容性预测准确率、填空题成功率等)。然而真正衡量“时尚度”仍没有客观统一的标准,很多时候需要专业时尚编辑或目标用户群的主观反馈。

未来可能出现大规模人机协同评价机制:比如在时尚社区里让用户对AI生成的搭配进行打分、评论,收集群体智慧来优化模型。这类似于不断调优的“口味模型”,让AI逐渐贴近动态变化的流行趋势和审美标准。

此外,可持续时尚(Sustainable Fashion)也是新一代消费者关注的重点,推荐系统也可引入相关评价维度,如优先推荐环保材质、本地品牌等,以顺应绿色消费潮流。这些新的评价指标将推动算法从单纯追求用户点击,转向兼顾长期满意度、品牌忠诚度和社会责任等综合价值。

1R-004 原文插图

综上所述,人工智能驱动的服饰搜索与搭配推荐正迈向更加智能、人性化和多元融合的阶段。从技术层面看,Transformer和GNN等模型为核心的兼容性学习已日臻成熟,正与生成式AI、虚拟仿真等新兴技术交汇,孕育出颠覆传统购物体验的可能。

从产业层面看,个性化推荐已经成为时尚电商的标配功能,未来谁能率先打造出懂用户、会创意、能互动的智能搭配助手,谁就能在激烈的市场竞争中脱颖而出。当然,我们也清醒地认识到挑战依然存在——数据质量、计算成本、审美主观性、用户隐私等等,都需要持续的创新和投入来解决。

可以预见,在不远的将来,AI将不仅帮我们挑衣搭配,更可能参与设计我们的服饰风格。而人类时尚创意与人工智能的结合,终将谱写出服装美学新的篇章。

主要参考文献

Generative AI in Fashion: Overview WENDA SHI, School of Fashion and Textiles, The Hong Kong Polytechnic University, Hong Kong SARWAIKEUNG WONG and XINGXING ZOU*, School of Fashion and Textiles, The Hong Kong Polytechnic University, Hong Kong SAR and Laboratory for Artificial Intelligence in Design, Hong Kong SAR Zeyu Cui, et al. (2019). Dressing as a Whole: Outfit Compatibility Learning Based on Node-wise Graph Neural Networks WWW ’19

Eileen Li, et al. (2020). Bootstrapping Complete The Look at Pinterest. KDD ’20.

Wen Chen, et al. (2019). POG: Personalized Outfit Generation for Fashion Recommendation at Alibaba iFashion. KDD ’19.

Katrien Laenen, et al. (2019). Attention-based Fusion for Outfit Recommendation. RecSysXFashion Workshop ’19.

Shuyi Li, et al. (2020). MCAN: Mixed Category Attention Network for Outfit Recommendation. ACM Multimedia ’20.

Rohan Sarkar, et al. (2022). OutfitTransformer: Outfit Representations for Fashion Recommendation. arXiv preprint arXiv:2202.01835.

Xinyuan Zhao, et al. (2022). OCPHN: Outfit Compatibility Prediction with Hypergraph Networks. Mathematics, 10(20):3913.

Yiyan Xu, et al. (2024). DiFashion: Generative Outfit Recommendation with Diffusion Models. arXiv preprint arXiv:2309.XXXX (202405 Generative Outfit Recommendation.pdf) (202405 Generative Outfit Recommendation.pdf).

AI in Fashion Market Size to Hit USD 60.57 Billion by 2034 Precedence Research, 2025 (AI in Fashion Market Size to Hit USD 60.57 Billion by 2034).