Go 后端如何实现穿搭识别与商品检索
Covet 使用现有视觉模型识别照片中的服装,再返回商品、价格和购买链接。文章展示上传后返回任务 ID、后台处理、客户端轮询结果的异步流程,并说明 MVP 的功能取舍。
AI 深度解读
上传一张穿搭照,识别衣服,再找到能买到的相似款和低价替代款,这是 Covet 想完成的事。作者用 Go 做这个作品集项目,最有价值的经验却来自一次方向调整:先让模型描述衣服,再拿描述搜索商品,结果并不好。
这篇值得看的是调整背后的工程判断:视觉信息该交给谁处理,异步任务怎样反馈进度,「平价替代」怎样才算名副其实。对准备把 AI 接进产品的程序员,这些问题比接通一次模型调用更有参考价值。
为什么衣服识别成功,商品却搜不到
作者先划定边界:不训练自有模型,不依赖用户贡献商品数据,产品输出是衣服、价格、商家和购买链接。精确视觉匹配、独立估价、降价提醒都从 MVP 中移除。目标是练习 API、数据库、第三方集成和异步处理。
最初的方案是 Gemini 识别服装并生成描述,再通过 SerpAPI 查询 Google Shopping。问题出在第二步:类似「鲜黄色短款抓绒连帽衫,带抽绳」的详细描述,搜索结果可能直接显示「Fully empty」。
作者缩短查询,去掉停用词,只保留颜色、一个描述词和品类,部分查询开始有结果。但查询越短,信息损失越多。最后退化成「黄色上衣」,用户自己也能搜。
识别结果足够详细,不代表它适合作为另一个系统的输入。
模型描述的是画面,商品搜索面对的是商家标题。两套表达方式之间,缺少可靠的对应关系。作者还踩过一个调试坑:先用 io.ReadAll 记录响应,再用 json.NewDecoder(resp.Body) 解析,流已经读完,只会得到 EOF。正确做法是继续用 json.Unmarshal(bodyBytes, &parsed) 解析已有字节。另一次超时则来自本机网络。
后来,作者改用 Lykdat 的 Global Search API,直接提交图片,一次获取检测到的衣物与相似商品,包括名称、品牌、价格、币种、URL、图片和相似度分数。原文称其免费计划每月允许 500 次图片搜索,这是作者写作时的额度描述。
Gemini 随之收缩为整套穿搭的一次风格标注,返回 streetwear、minimalist 等标签。衣物检测与商品匹配都以 Lykdat 为准,避免两个检测器分别识别,再按品类硬凑对应关系。
代价是重写 runDetection:旧接口接收衣物信息和国家,新接口接收图片路径。原先围绕文本搜索设计的抽象,无法直接容纳图片搜索。
异步上传,不能只写一个 goroutine
后端使用 Go 标准库路由、Docker 中的 Postgres、pgx 和 pgxpool。启动时读取环境变量、建立连接池并检查数据库,失败就拒绝启动,避免错误的 DATABASE_URL 留到真实请求才暴露。
上传流程分成提交任务与查询结果两步:
POST /outfits -> save image, insert row (status: pending), return id
background job -> detect items, find products, store them (status: complete)
GET /outfits/{id}/results -> client polls until status is complete
要看清第一行:先保存图片和任务记录,再返回 id,耗时识别在后台执行。
POST /outfits 将请求体限制为 10 MB,读取前 512 字节判断实际内容类型,再调用 Seek(0, 0) 复位,防止保存时丢掉文件开头。文件使用 UUID 命名,写入 status = 'pending' 后立即返回 201。
后台通过 go h.runDetection(uploadID, savePath) 启动,使用 context.Background(),避免沿用 r.Context()。对于 Go 服务端请求,请求 context 会在 ServeHTTP 返回等情况下取消,把它传给需要继续执行的后台任务,会让任务失去运行条件。
状态细分为 pending、processing、complete、failed。客户端轮询 GET /outfits/{id}/results,完成前只获取状态,完成后获取完整结果,不必一直挂着一个可能耗时 10 秒的请求。
这里仍有生产化缺口。原文没有交代任务超时、重试,以及进程退出后的任务恢复。context.Background() 解决了生命周期独立的问题,却没有让 goroutine 变成持久任务队列。
结果能展示,还要保证标签和价格可信
作者最早要求 Gemini 返回服装 JSON 时,做了三层防护:API 开启 JSON mode;写库前检查至少 1 件、最多 10 件,品类和描述非空,并限制长度;最后规范化已知值,将 outerwear、coat、blazer 统一成 jacket,风格标签转小写并去重。
这些是早期方案的防护经验。切换 Lykdat 后,Gemini 已不再承担逐件服装检测,不能把两版架构混成一套。
作者调用 gemini-1.5-flash 和 gemini-2.0-flash 时都遇到过 404,因此把模型名放进配置。这个记录能支持「模型名需要可配置」,但原文没有说明 404 的具体原因。
商品分类也经历了一次纠偏。最早把前 5 个结果标为 closest matches,后面的全归入 budget alternatives。Lykdat 每件衣物最多返回 50 个商品,于是相似度较低、价格反而更贵的商品,也进了平价区。
新规则按相似度取前 8 个作为 closest matches;其他商品只有低于同币种 closest matches 的平均价格,才算 budget alternative。每件衣物总计最多保留 20 个商品。
「平价」必须有价格比较依据,排名靠后不能成为依据。
结果存入数据库后,价格、币种和匹配类型筛选通过 SQL 完成,无须再次调用 Lykdat 或 Gemini:
WHERE detected_item_id = ANY($1)
AND ($2::text IS NULL OR match_type = $2)
AND ($3::numeric IS NULL OR price >= $3)
AND ($4::numeric IS NULL OR price <= $4)
AND ($5::text IS NULL OR currency = $5)
重点是 ANY($1):先查衣物,再一次查齐这些衣物的商品,共两次查询,避免每件衣物各查一次的 N+1 问题。ORDER BY 则从固定列表选择,不能直接拼接用户输入。
数据库包含 users、sessions、outfit_uploads、detected_items、product_matches 五张表。价格使用 NUMERIC(10,2);match_type 用文本保存 closest_match 或 budget_alternative,方便扩展;上传记录的 user_id 可空,配合 ON DELETE SET NULL 支持匿名上传及删除账号后保留数据。users、sessions 使用 UUID 主键。
商品原始 URL 保存在数据库,响应时再生成 shop_url,通过联盟服务包装。联盟服务未配置时不生效,审批进度不会卡住开发。
我的判断
我认同作者最后提炼的经验:先验证风险最大的假设。这个项目最不确定的是图片能否找到有用的商品,应该尽早拿真实图片验证。把文本搜索继续包装成漂亮接口,并不能弥补匹配效果的问题。
不过,改用图片搜索是否显著改善体验,原文没有对照数据。没有命中率、延迟、地区覆盖,也没有用户对匹配质量的评价。这是一次有解释力的工程调整,还不能据此断言 Lykdat 普遍优于文本搜索。
「低于平均价」也只是一个可执行定义。高价商品会拉高均价,低于均价的商品未必符合用户预算;同币种检查必要,但原文没有处理运费、税费与库存。
认证实现有一些扎实细节:Cookie session 存入 sessions 表,提供注册、登录、退出和 /auth/me;不存在的邮箱仍执行一次 dummy bcrypt 比较,登录错误统一提示;中间件允许匿名访问,其他人访问有归属的穿搭记录返回 404。
原文将 bcrypt 限制描述成 72 个字符,这里需要纠正:通常应按 72 字节处理,多字节字符不能直接按字符数判断。原文也没有完整交代 Cookie 属性等安全配置,不能把这些细节当作完整认证审查。
作者还因 Docker 容器重建丢过表,后来用 named volume 持久化;因日志打印完整请求 URL 泄露过 API key,需要轮换。改成记录响应体也不能直接照搬,响应体同样可能包含敏感数据。
能拿来做什么
- 做图片驱动的 AI 功能时,先用真实输入跑通「图片到可用结果」。确认检索质量后,再完善账号、页面和筛选功能,减少在错误前提上投入的时间。
- 前端可以沿用「提交返回 id,轮询读取状态」的交互,把处理中和失败明确展示出来。若任务必须跨服务重启继续执行,后端需要补充持久队列或任务恢复机制。
- 在 Go 或 Node 接入模型时,把 JSON 输出模式、业务校验和字段规范化分别处理。模型名放入配置,能减少更换模型时的代码改动。
- 将昂贵的识别结果保存下来,用数据库完成价格和币种筛选。作者计划用 Go 直接提供 HTML、CSS、JavaScript,减少跨域配置;前端仍是待完成项,AI stylist chat 和虚拟试穿也只是后续设想。