感觉就在这几个月，Claude Code 这样的工具开始在身边火了起来。1 月份自己用 Cluade Code 搭配 kimi-k2.5，刚开始只是用来在 mac 上安装软件和修复环境。

上周终于通过美区 iOS 订阅 20 刀的服务，可惜没过 1 周账号就被封了。后来，改成订阅 ChatGPT Plus 服务来使用 Codex。现在开始用这些服务来完成之前一直没有做完的，导出 Logseq 笔记成为博客文章的脚本。如果你有想法，token is all you need！

另外遗憾的是，公司内部各种安全限制只能用 kimi-k2.5 这样的开源模型，而且各个平台都是 agent 时代之前的产品，总感觉等这些平台接入 coding cli 生态的成本，远高于重新搭建一套。

LLM 应用范式

• 当成 ranker 使用排序商品集合
• 进行用户和商品理解
• 建模 LLM 的建模思路或模型结构

技术路径

• 生成式架构，基于类LLM的Transformer架构，结合高效的FlashAttention算子实现自回归内容生成。#card
  • Meta 使用[[HSTU]] 通过千亿级参数扩展验证了推荐Scaling law效果
  • [[OneRec]] 快手,采用Encoder-Decoder+MoE混合设计，结合DPO优化与奖励模型实现CTR/CVR与生成任务的多目标兼容。
• 堆叠式架构，通过生成式技术赋能传统推荐框架 #card
  • [[HLLM]] 字节 构建Item/User双塔LLM分别处理特征提取与行为预测
  • 阿里 [[LUM]] 采用预训练三阶段策略平衡模型容量与推理时延
• 判别式
  • 字节 [[RankMixer]]
• 混合式架构
  • [[MTGR]]

相关文章

• [[google TIGER]] 2023，通过 [[Semantic ID]] + 生成式模型实现高效、泛化的序列推荐
• [[@Semantic IDs for Industrial Recommendation: Mitigating the Curse of Large and Dynamic ID Spaces]] 2025 Meta，基于语义 ID 增强推荐系统
• [[@Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations]] **实现Scaling Law + 统一序列4All，**仍然采用的是原始ID，而非Sematic ID
• [[OneRec]] 采用预训练Pre-Train(传统模型) + Post-Train(RL强化学习)，第一次引入了SematicID(Encoder仍然是ItemID;Decoder才是SematicID)，用户静态画像/短期实时/正反馈/LifeLong行为。
  • [[RQ-Kmeans]] 分词器
• [[@Towards Large-scale Generative Ranking]] 2025.3 小红书发现业务(即推荐首页) GenRank
  • 1）SIM(长序列检索)、PPNet(场景个性化)、PLE(多业务) 等模块在生成式与传统范式中表现相当，表明兼容性良好。
  • 2）内容嵌入（Content Embeddings，预训练Embs）在生成式范式下的 AUC 提升是传统范式的两倍以上，因架构一致性更能发挥其能力。
  • 3）实时统计特征（如窗口特征）仍有效，虽然HSTU 曾提出生成式推荐模型本身可充分表达统计模式(可移除部分特征)。
• [[@GR-LLMs: Recent Advances in Generative Recommendation Based onLarge Language Models]] 2025年7月 阿里巴巴-高德 一篇综述
• [[@Towards An Efficient LLM Training Paradigm for CTR Prediction]] 2025.3 meta ai
  • 1）传统研究多采用 “滑动窗口” 训练范式，为每个用户交Item互构建独立的训练提示，导致计算复杂度随交互序列长度呈 O (mn²) 增长（m 为交互总数，n 为上下文长度）。由于 LLMs 使用文本描述而非 ID 表示交互，上下文长度显著增加，进一步放大了计算负担，亟需更高效的训练范式。
  • 2）动态目标隔离（DTI）范式，通过流式提示构建和窗口化因果注意力机制，将计算复杂度降至 O (m/k・(n+k) n)，实现训练效率提升。
• [[MTGR]] 2025.5 美团
• [[RankMixer]] 2025.7 字节
  • 传统判别式，RankMixer 以 “高并行性 + 高效特征交互” 为核心，通过三大模块实现规模化能力，
  • 整体架构由输入层特征 token 化、L 个 RankMixer 块（含多头 token 混合 + 逐 tokenFFN）、输出层均值池化组成。
• [[@Exploring Scaling Laws of CTR Model for Online Performance Improvement]] 美团，SUAN算法由多层Unified Attention Block(简记为UAB)堆叠而成。
• [[@GPR: Towards a Generative Pre-trained One-Model Paradigm for Large-Scale Advertising Recommendation]] 2025.11 腾讯，将广告推荐重构为端到端生成任务的单模型框架(召回-精排，不涉及拍卖)

ReLLa

为什么推荐大模型用 encoder-decoder #card

• encoder 可以使用所有场景数据建模用户信息，
• decoder 只能用本场景的数据

推荐大模型和搜索大模型区别 #card

• 电商搜索有类目信息，可以当成 codebook 的第一级？
• 酒店搜索有城市信息，可以当成 codebook 的第一级？

范式

• 预测下一个 item embedding
• 预测下一个 cluster

重排

• “User Feedback Alignment for LLM-powered Exploration in Large-scale Recommendation Systems.”
• “CoRanking:
  Collaborative Ranking with Small and Large Ranking Agents.”

问题

• 如何判断现在模型的 gpu 效率？

参考

• [[@聊聊生成式召回的本质]]
• 生成式「GR」-快手/Meta/字节/美团方案【思考】 - 知乎