BPR的思想是给定一个由用户，正向物料，随机采样的负向物料组成的三元组 $\left(u_i, t_{i+}, t_{i-}\right)$ ，针对用户 $u_i$ 的正确排序（将 $t_{i+}$ 排在 $t_{i-}$ 前面）的概率是 $P_{\text {Conectorder }}=\operatorname{sigmoid}\left(\boldsymbol{u}_{\boldsymbol{i}} \cdot \boldsymbol{t}_{i+}-\boldsymbol{u}_{\boldsymbol{i}} \cdot \boldsymbol{t}_{i-}\right)$ ，BPR Loss就是要 :-> 将这一正确排序的概率最大化。
由于 $P_{\text {Correctorder }}$ 对应的真实label永远是1，因此将 $P_{\text {Correctorder }}$ 代入Binary Cross－Entropy的公式，得到BPR Loss如公式（5－14）所示，符号含义参考公式（5－13）。

示意图 #card

优点 #card

缺点 #card

如何定义正样本，即哪些q和t在向量空间内应该相近；

• 取决于不同的召回场景

  • I2I召回。 q 和 t 是物料。 #card

    • 比如我们认为同一个用户在同一个会话（session，间隔时间较短的用户行为序列）交互过（例如点击，观看，购买等）的两个物料，在向量空间是相近的。这体现的是两个物料的相似性。

  • U2I召回。 $q$ 是用户，$t$ 是物料。#card

    • 一个用户与其交互过的物料在向量空间中应该是相近的。这体现的是用户与物料的匹配性。

  • U2U召回。 $q$ 和 $t$ 都是用户。#card

    • 比如使用孪生网络，$q$ 是用户一半的交互历史，$t$ 是同一用户另一半交互历史，二者在向量空间应该是相近的，这体现的是同一性。

如何定义负样本，即哪些q和t在向量空间内应该较远；#card

• [[负样本主要靠随机采样]]

• hard negative

如何将q和t映射成Embedding；#card

• 排序鼓励交叉，召回要求解耦。

如何定义优化目标，即损失函数。#card

• 多分类的Softmax Loss，只要求把正样本的概率值预测得越高越好。正样本来自用户真实反馈，负样本往往未曾想用户曝光过。

  • nce loss

    • [[Noise Contrastive Estimation]]

  • Sampled Softmax Loss

• LTR 思想，把用户喜欢的排在前面，最求排序的相对准确

  • Pairwise Loss

  • [[Marginal Hinge Loss]]

  • [[Bayesian Personalized Ranking Loss]]

• 额外建立了一个 向量缓存 ，存储物料塔在训练过程中得到的最新的物料向量。

• 如何采样 #card

  • 在训练每个Batch的时候，先进行Batch内负采样，同一个Batch内两条样本中的物料互为Hard Negative

  • 额外从向量缓存采样一些由物料塔计算好的之前的物料向量 b，作为Easy Negative的Embedding

• 尽管在一个Batch内热门物料比较集中，但是向量缓存汇集了多个Batch计算出的物料向量，从中还是能够采样到一些小众、冷门物料作为Easy Negative的。所以，混合负采样对物料库的覆盖更加全面，更加符合负样本要让召回模型“开眼界、见世面”的一般原则。

3.1 无中生有：推荐算法中的Embedding

• 图3-1 推荐系统的“评分卡” #card
  

• tf.keras.layers.Embedding 用法 #card

  • string 转 int ，查表，使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

import tensorflow as tf

# ----------- 准备
unq_categories = ["music", "movie", "finance", "game", "military", "history"]
# 这一层负责将string转化为int型id  
id_mapping_layer = tf.keras.layers.StringLookup(vocabulary=unq_categories)  

emb_layer = tf.keras.layers.Embedding(  
    # 多加一维是为了处理输入不包含在unq_categories中的情况
    input_dim=len(unq_categories) + 1,  
    output_dim=4)  # output_dim指明映射向量的长度

# ----------- Embedding  
cate_input = ...  # [batch_size,1]的string型"文章分类"向量
cate_ids = id_mapping_layer(cate_input)  # string型输入的"文章分类"映射成int型id  
# 得到形状为[batch_size,4]的float稠密向量，表示每个"文章分类"的语义
cate_embeddings = emb_layer(cate_ids)

3.2 共享Embedding还是独占Embedding

• 独占 embedding 例子 #card

  • 比如在之前的例子中，App的安装、启动、卸载对于要学习的App Embedding有着不同的要求。理想情况下，​“安装”与“启动”两个Field要求App Embedding能够反映出App为什么受欢迎，而“卸载”这个Field要能够反映出App为什么不受欢迎。举个例子，有两款音乐App，它们都因曲库丰富被人喜欢，​“安装”与“启动”这两个Field要求这两个音乐App的Embedding距离相近。但是这两个App的缺点不同，一个收费高，另一个广告频繁，因此“卸载”Field要求这两个音乐App的Embedding相距远一些。显然，用同一套App Embedding很难满足以上两方面的需求，所以大厂一般选择让“装/启/卸”3个Field各自拥有独立的Embedding矩阵。

• [[@CAN: Feature Co-Action for Click-Through Rate Prediction]] 的目标有两个：像FFM那样，让每个特征在与其他不同特征交叉时使用完全不同的Embedding；不想像FFM那样引入那么多参数而导致参数空间爆炸，增加训练的难度。提出的特征交叉结构 #card
  

3.3 [[Parameter Server]]

• 基于PS的训练流程如图3-8所示，每个步骤的具体操作描述如表3-2所示。 #card
  

• 总结下来，PS训练模式是Data Parallelism（数据并行）与Model Parallelism（模型并行）这两种分布式计算范式的结合。

  • 数据并行。#card

    • 数据并行很好理解，海量的训练数据分散在各个节点上，每个节点只训练本地的一部分数据，多节点并行计算加快了训练速度。

  • 模型并行。#card

    • 推荐系统中的特征数量动辄上亿，每个Embedding又包含多个浮点数，这么大的参数量是单个节点无法承载的，因此必然分布在一个集群中。

    • 接下来会讲到，由于推荐系统中的特征高度稀疏的性质，一轮迭代中，不同Worker节点不太会在同一个特征的参数上产生冲突，因此多个Worker节点相对解耦，天然适合模型并行。

5.2 向量化召回统一建模框架

• [[向量化召回统一建模框架]]

• [[向量召回]] 基本流程 #incremental #card

  • （1）训练一个模型 $M$ ，将 $Q$ 中的每个实例 $q$ 和T中的每个实例 $t$ 都映射到同一个向量空间。

  • （2）将T中几十万，上百万个实例喂入模型M，映射成向量。再把这几十万，上百万个向量灌入Faiss或Milvus这样的向量数据库，建立索引。

  • （3）在线服务时，对于一个Q类的实例 $q$ ，通过模型M将其映射成向量 $\mathbf{E m b}_q$ 。再在向量数据库中，通过近似最近邻（ANN）搜索算法，查找与 $\mathbf{E m b}_q$ 最近的 $K$ 个 $T$ 类的邻居向量 $\mathbf{E m b}_{t_i}$ 。这些邻居向量对应的 $t_i(1 \leqslant i \leqslant K)$ 作为召回结果返回。

5.3 借助 [[Word2Vec]]

• [[Item2Vec]]

• [[@Real-time Personalization using Embeddings for Search Ranking at Airbnb]]

• 阿里巴巴 2018 [[EGES]]

5.4 “瑞士军刀”FM的召回功能

• 部分内容来源于文章 [[fm：推荐算法中的瑞士军刀]]

• [[热门打压]]

• [[batch 内负采样]]

• [[混合负采样]]

[[推荐算法的"五环之歌"]]

4.2 交叉结构

• [[FTRL]]

• [[FM]]

• [[Wide&Deep]]

• [[DeepFM]]

• [[DCN]]

• [[DCNv2]]

• [[AutoInt]]

4.3 用户 [[行为序列建模]]

• [[@日久见人心：论建模用户长期兴趣的几种姿势]]

• DIN实现了用户兴趣的“千物千面”​，但是仍有不足，就是它只刻画了候选物料与序列元素的交叉，却忽略了行为序列内部各元素之间的依赖关系。对用户行为序列建模的方法是采用双层Attention#card
  +

产品是什么？#card

• 是具备商业价值的功能集合

产品定义中的重点？#card

• 1.商业价值；

• 2.功能集合

• 化重点：「商业价值」，所以说没事少脑补一些有的没的，什么是“好”的产品，“好”的产品是能经过商业市场检验，能活下来，活的好的产品，而不是乱七八遭各种脑补功能、需求和需要的产品，一切产品不以商业价值为目的的产品，在当今社会是不能称作为“好”产品

产品思维是什么？总体是以下五个部分：

• 1、需求识别思维#card

  • 找到用户是谁，本质是找到用户的“那个”需求或者需求集合

• 2、供给思维#card

  • 功能集合是什么，功能解决了第一条中用户的什么需求（问题），重要的是「需要」问题，用户凭什么需要你

• 3、商业匹配思维#card

  • • 商业价值如何体现的，匹配模式

• 4、说明书思维#card

  • • 产品功能描述清楚，简单扼要，说“人”能听懂的话

• 5、迭代思维#card

  • • 不管你是MVP还是狗屁敏捷，不迭代，Bug怎么办？MKT怎么办？PR怎么办？

PM的核心技能又是什么？#card

• 1、产品设计：了解用户需求，挖掘产品机会，设计出合理的产品架构，实现产品的有效开发

• 2、技术管理：熟悉互联网技术，掌握产品开发流程，控制产品开发进度，确保产品质量。

• 3、 市场营销：了解市场趋势，分析用户行为，推广产品，提升产品知名度。

• 4、 项目管理：组织项目团队，制定项目计划，控制项目进度，确保项目顺利完成

• 5、数据分析：分析用户数据，挖掘产品机会，改进产品设计，提升产品体验

主流产品岗位要求#card

• 1~3年的岗位，公司看中的是基础技能，如竞品分析、原型设计、文档撰写、需求落地等基本功；

• 而3~5年的岗位，公司看中的则是偏产品架构、商业化的能力，如产品战略规划、商业思维等等

能力

• id:: 67013df2-d7ae-4db4-8347-b3d1883085cc

1. 行业洞察的能力#card

   • 快速了解一个行业，因为如今跨行业趋势已经越来越明显。这就要求公司内的员工要具备跨行业工作的知识储备、视野和能力。

   • 不仅仅是要快速了解行业，更重要的是能在一个行业有深刻的认识和积累，并深刻洞察行业发展趋势及脉络。

   • 如果把每个细分行业比作一条赛道的话，那产品经理就该这样给自己提问：这个行业的市场规模有多大？（赛道规模）这个行业发展趋势如何，未来5年是一个什么走向？（赛道趋势）目前有哪些行业玩家，它们都是怎么布局的？（竞争情况）在这个赛道，我们有什么积累和竞争优势？（优势分析）

   • 只有当你能清晰明了地回答上面几个问题，才能在关键时刻做出更有利于公司业务的产品决策。

• id:: 67013df2-52c7-4fba-b251-b3f2bf4ed176

2. 用户洞察的能力

   • 很多方法论把“用户洞察”等同于“用户研究与分析”，提倡通过大数据分析来掌握用户动态，以用户画像代替具体的个体来指导业务走向。#card

     • 这个方法不能说完全错，但按照这个来做只能说让你在理解用户上不会出现大的差错。

   • 用户洞察与用户研究不同，用户洞察更把人当作人，而不是数据或者指标。#card

     • 所以，优秀的产品经理不仅仅是要掌握基本的用户研究思路和方法，更重要的是能洞察心理和人性。

• id:: 67013df2-f270-4b43-988d-1581446b2ab1

3. 商业化的能力#card

   • 16年左右整体行业的诉求是「增长」；而这两年，可以很明显的感觉到各个公司的商业化速度都在加快，所以行业的诉求又变成了「商业化变现」。

   • 整个行业从来没有像现在这样渴望赚钱。这里面当然包含了多重因素，一方面是本身行业的周期发展，另一方面，疫情其实也加速了这个过程。于是，你会看到能帮着企业赚钱的产品经理（包括任何岗位）越来越值钱了。

• id:: 67013df2-422b-4583-b77a-3a28de39db06

4. 产品规划的能力#card

   • 当你对行业有了一定的洞察，对用户有了深刻的了解，又掌握了不错的商业化变现思维和能力，这个时候最重要的就是产品规划的能力了。

   • 所谓产品规划，就是你能站在公司战略角度，结合行业现状、业务现状，制定出产品下一个阶段的重点目标，并规划出一个最合理、投入产出比最高的产品路线图，告诉大家我们接下来一个季度、接下来一年到底该怎么干、到底该干什么。

   • 初阶和高阶产品的一个很大的分水岭，也是产品规划能力。前者更多的是一个支持的角色，后者则是整个产品团队的指挥官，是产品核心方案的策划者。

   • 对于很多人来说确实不太容易。既要懂行业、又要懂用户、还要会商业化思考、产品规划能力。每一项技能和思维的打磨，都需要付出大量的心血，绝不是一时之功。

   • 但是这些都是一个「产品」本应该去做的，甚至说是本来应该有的技能，天天被骂主要是因为各个方面都会缺失，初阶的都做的不好，更不要提高阶的「规划能力」了。

[[方法论]]

• 方法论本质是解决问题的工具，具备标准化、系统化和可复用性的特点。是通过总结、抽象日常过程和细节，创建一套标准、系统、可复用的理论方法以解决特定问题。#card

  • 1、标准化能少走弯路，而标准的产品方法论不仅可以让我们按部就班地执行任务，还能提高工作效率和减少错误率。

  • 2、系统化可减少遗漏，帮助我们有序地展开思路，从而避免因考虑不周而导致问题遗漏。

  • 3、可复用能提高效率。避免重复造轮子，提高解决问题的效率。

    • 比如常用构思文章框架用到的就是3W法（what，why，how），从产品方法论的定义、必要性和应用这三个角度对产品方法论进行系统全面的讲解

• 产品方法论

  • 大致上在 PM 岗位上的产品方法论主要有三种类型，分别是：理解问题，分析问题，处理问题

    • 1、「理解问题」需要运用逻辑理论类方法论 #card

      • 逻辑理论的主要作用有两个：

        • 一是避免陷入思维陷阱；

        • 二是辅助进行思维延伸。

      • 例如

        • 在投入太多、不舍得退出的情况下，我们可以考虑沉没成本的概念；

        • 在制定产品战略时，我们可以考虑要投入多少才能实现最大的边际效应；

        • 在寻找目标用户时，我们可以考虑长尾理论，像拼多多一样将下沉市场部分考虑进去。

      • 还有很多类似的理论逻辑，有时候，我们可能对某个问题只有模糊的概念，通过学习和应用这些理论逻辑，能让我们的思路更加清晰，更加深入理解问题的本质

    • 2、「分析问题」需要运用分析框架类方法论 #card

    • 3、「处理问题」需要运营解题思路类方法论 #card

  • 一、如何构建方法论 #card

    • 我们可以通过学习他人方法论和自己总结方法论的方式来构建方法论，也可以通过对比分析他人的方法论来梳理自己的方法论，然后在实践中改进。也可以在实践中总结自己的方法论后，去参考借鉴他人的方法论来改进完善自己的方法论，「既要读万卷书 ，也要行万里路」。

    • 能够直接被吸收的方法论普遍为「逻辑理论」和「分析框架」。这些方法论虽然可以被直接套用，但最好还是要有自己的理解，并在具体场景下进行微调。方法论可以提供思路，但最终的「思考」还是需要自己去完成。

    • 而「解题思路」这类方法论，因为每个人的实际情况不一样，所以能在大部分场景通行的方法论并不多见。更多的还是由个人总结的方法，比如产品经理的工作流程，虽然各个团队整体大致相同，但具体落实到不同文化、类型、规模的公司都会有不同的产品工作流程。

    • 面对同一类问题，不同人的解题思路应该取其精华去其糟粕，融合改进。虽然改进后的解题思路会更全面，但仍然存在许多没有考虑到的问题。因此，吸收他人的解题思路需要根据个人情况和使用场景不断思考、实践和复盘，才能真正将其变成自己的东西。

    • 如果不经过这个过程，不经思考的套用别人的方法论，最后只会是效果差强人意。俗话说：“学我者生，似我者死”。学习和应用产品方法论也是如此。

  • 二、如何总结自己的方法论？ #card

    • 自己总结解题思路的步骤分为四步：计划-执行-调整-复盘

    • 首先，通过制定详细的计划，将整个解决问题的过程分解成可行的步骤，确定每一步的时间和资源需求，以及对应的实现策略。

    • 其次，依照计划执行，在过程中不断地检查进度和达成目标，遇到问题及时调整方案。第三步是调整，即对已有方案的进一步完善和改进，充分发挥自己的想象力和创造力，找到解决问题的最佳路径。

    • 最后一步是复盘，对整个过程进行回顾，反思过程中可能出现的问题以及未来应该注意的地方，为后续的解决问题积累经验。

    • 这个四步的解题思路，不仅仅适用于个人解决问题，同样适用于团队协作解决问题。通过遵循这个步骤，可以使团队成员的工作更加高效，团队更加协调和有序，同时也可以帮助团队充分挖掘潜在的解决方案。

  • 方法论总归只是理论，构建好产品方法论只是开始，最终的目的还是要将其用于实践当中，读万卷书和行万里路是相辅相成的。正所谓，学而不思则罔，思而不学则殆，学习他人理论但不实践思考就会迷惘而无所适从，而单纯的实践思考，但不去学习新的知识就会逐渐懈怠，故步自封。#card

    • 因此，自己「反思」（复盘）工作，和学习他人工作经验都很重要，只有俩者同步进行才能让自己的产品方法论不断优化完善。

    • 仅仅理解产品工作内容学到的知识是死的，只有了解工作流程之间的联系并勾通应用场景才能做到活学活用产品知识。因此，我们需要在实践中不断总结经验，加深对于产品知识的理解和掌握，才能在实际工作中更好地应用所学的知识。

    • 我们只需要熟悉知识框架结构，并记住知识的概念和作用即可。具体的应用方法和技巧80%都是不用记的，只需通过反复调用20%的常用内容以达到记忆和熟练应用的效果。

    • 很多产品经理只注重结果，只知道按照流程去完成任务，却缺乏自己的独立思考能力，这样做的话只是能完成工作，而不能做好工作。任何产品经理在工作一段时间后都能够成功地落地一个产品，但不是每一个产品经理背后都有一款成功的产品，而成功的产品是产品经理晋升的最佳资本。

    • 因此，流程只是达成目标的工具，产品经理的工作应该以目标为导向。

  • 虽然我说了很多关于PM的事情，其实所有岗位的思路、甚至是学习、阅读等等的思路框架都是相同的。在完善自身「知识体系」的同时，也要更要践行“[[读写说教]]” #card

    • 你会「读」，不见得你会「写」；你会写不见得你会「说」，你会说不见得你会「教」；你读写说都会，你「教」不了不懂的人，说明你自己不是真的「会」，如果真的「会」，你都「教」不了不懂的人？

    • “读写说教”是一个流程也是一个最基本的逻辑。简明扼要的表述，让不懂的人也能理解，这是个比较高阶的水平段位，在此互勉，学以致用。

[[Jtalk@产品思维]]

“产品思维”是每个互联网从业者都会高频听到的词汇之一，但“产品思维”绝不应简单理解为产品经理的思维，其重点是「产品化」的思维模式。

我们常用“产品思维”作为一种idea或方案的评判标准，而不是将某个“产品经理”的想法视为「产品思维」。

一、为什么需要产品思维？？？#card

• 优秀的思维模式能够很好地还原和预测物理世界的真实规律。而在一个完整的软件产品开发周期里，会出现三种标准模型。

• 1、实现模型：代表研发工程师开发产品的代码模式。比如是云端服务，还是混合服务；是用分布式架构，还是集中式架构；是用机器学习等等

• 2、呈现模型：代表工程师（包括PM和QA）设计的产品功能界面及系统。好的呈现模型能做到和用户的心理模型基本一致，差的呈现模型会和实现模型没什么两样。

• 3、心理模型：代表真实用户使用产品时的心智模型及操作预期。有些模型是对现实生活的投影，比如：看到手推车的图标，知道是选购商品的清单；浏览照片时，知道左右滑动可以翻看下一张照片。还有一些模型是由主流产品培养出来的，比如：下拉内容列表刷新内容；扫描二维码打开网页或APP；滑动接听电话等等

• 那么结合现实的分工情况，“呈现模型”就是「产品思维」的一种投影和落地；相应的，实现模型和心理模型分别对应技术思维和用户思维

• 所以好的「产品思维」能把呈现模型变成用户和技术之间的最佳桥梁，所以怎样强调产品思维的重要性都不为过。如果你做不了这个桥梁，那么对不起，你不仅被各部门骂还是个废物，不配叫做「产品」

二、什么是产品思维？？？

• 产品思维本质上是一种「实现思维」，它天然存在理想和现实的矛盾性。#card

  • 正如我们无法脱离用户和开发的角度去描述“产品”本身的好坏。

  • 如何对产品思维下一个完整的定义，需要我们先理清它与“用户思维”和“技术思维”之间的关系。

• 1. 用户思维

  • 用户思维本质是一种「需求」思维（注意，这里不是「需要」），即“我”需要得到什么样的服务或则体验。特点如下：#card

    • A,是一种个人主观视角；

    • B,聚焦某个具体场景，追求细节；

    • C,对时效性的要求更高，很少有用户愿意为未来的长期收益买单；所以是「需求」并不是「需要」

    • D,关注反馈，而非预期；

    • E，习惯使用“快思考”（参见《思考，快与慢》中的“系统1”）

  • 最典型的例子是大多数产品的用户反馈都是希望添加新功能，而每个人在其描述的立场都是非常合理的。#card

    • 以微信为例，很多人提议希望能收到删除好友的通知，而不是等到自己发消息时才尴尬地发现消息已无法发出。

    • 站在被删除用户的角度上，他的提议是合理的；站在主动删除好友的角度上，现有的模式又是更得体的。

    • 所以，用户思维不是一种普世思维，它是个体在某个场景下的思考方式。

  • 更有意思的是，真实的产品用户一般不会主动提及“用户思维”，这个词往往在产品或市场内部被广泛传播，其目的是设定产品边界，避免没有价值的设计，是“[[同理心]]”的另一种表达方式。#card

    • 当然也没有任何一个产品可以满足所有人的需求，“用户思维”不等于无条件妥协，比如“技术思维”在很多时候就站在了“用户思维”的对立面。
• 2. 技术思维

  • 技术思维本质上是一种「成本思维」，即“我”需要付出什么样的资源来达到既定目标。特点如下：#card

    • A,是一种系统视角；

    • B,聚焦通用性；

    • C,对未来的可扩展性要求高，而不是功能细节上的瑕疵；

    • D,关注功能的边界场景大于常规场景；

    • E,习惯抽象和数字化一切实物；

  • 最典型的例子是需求评审会上开发经理和产品经理的各种争端：#card

    • 产品要求尽快上线一个新功能，并表示改动很小，难度不大；
      产品要求开发一个定制功能，并承诺以后不常发生，临时处理就可；
      产品文档未对极限值说明，并表示可以无穷大；

  • 开发人员骂产品缺少“技术思维”，其实在研发视角里，真正的特例是极端条件下的输入和输出，而不是大客户。#card

    • 「技术思维」的最佳实践是用最少的技术成本实现最大的吞吐量，同时还能随着系统负荷地增加保持稳定。

    • 相比之下，产品界面是否难看，功能是否易用，都属于「次优先级」的目标。

  • 和“用户思维”类似，开发人员很少主动提及“技术思维”。而且开发人员理解的“技术思维”往往是更偏向于专业性的编码思维。“#card

    • 技术思维”一般是产品内部用来权衡ROI的部分论据，

    • 当然也有更高阶的产品经理会把“技术思维”贯穿在自己的产品设计里面，比如对未来产品功能的可扩展性和复用性的考虑。

• id:: 67013df2-e702-4916-83bb-ef6e78b6cfdb

3. 产品思维#card

   • 产品思维是平衡“需求”和“成本”的链接器，是一种“实现”思维。特点如下：

     • A,是一种多系统视角；
       B,尊重系统的复杂性，并与之共存；
       C,关注需求的共性；
       D,多重溯源，通过“第一性原理”理解目的；
       E,想的“远”，做的“少”；
       F,商业目标和用户体验的平衡师；

   • 所有的商业产品都是产品思维的最佳体现。无论是实物商品，还是软件应用，用户都会用脚投票，让那些真正具有产品思维的团队获得商业上的延续。

   • 高级的「产品思维」往往会将日常需求抽象到人类的顶级需求。

   • 而对需求的理解程度取决于产品思维对需求源动力的抽象高度。而且来自用户侧的需求描述，往往视角较低，正如福特说“客户只想要更快的马车”，而不是福特重塑汽车工业通过流水线生产的T型车。

   • 需求溯源的方式和路径有很多，比如Musk追求“第一性原理”，站在工程师的角度去解构现实问题；也有常见的“5 Whys”式提问法，通过层层逻辑递推得到根本原因；也可以通过“5W”的原则，再现需求的真实场景；互联网产品一般通过user story的方式，把需求发起方，功能和目的串联在一起。

   • 当然并不是所有的产品都需如此，很多工具产品只是为了解决个人生活或工作的效率问题。强行拔高没有必要，也没有任何意义。但是溯源本身是非常有价值的，一个是认清需求背后的动机；一个是挖掘需求共性，增加产品单位投入辐射的用户数量。

   • 产品思维是被海量产品决策培养出来的「平衡术」。大到产品商业化的主赛道，未来一个季度的营收目标；小到产品界面的按钮颜色，页面的加载效果，这些都是「产品思维」在权衡背后的利益体后做出的决策。

   • 归类到底，产品经理的大部分决策是在多个维度去平衡产品目标和用户需求。

   • 在中文互联网世界中，每天都有一亿的用户在教张小龙怎么做产品，但是微信一直都坚守着自己的迭代路径和产品目标。所以做产品就是回归商业的本质 —— 平衡供需关系。

   • 当然，从用户角度、从产品角度、从商业角度各个不一，取决于什么屁股什么脑袋。如果一个产品盲目追随用户的声音，会变成一个什么都有的四不像（从用户端来看，你提的「需求」问题能有1%被产品重视就很不容易了）；如果一个产品一味追求产品目标，比如商业价值，它会变成被用户唾弃的垃圾应用（比如做黑灰产的产品）。

链接： 世界的参数倒影：为何GPT通过Next Token Prediction可以产生智能 - 知乎

[[The Octopus Test]]

如果我们把“章鱼测试”里的章鱼换成ChatGPT或GPT 4，您会怎么看这个问题呢？也就是说，下述两种观点，您支持哪一种呢？

• 一种观点与“章鱼测试”看法类似，认为GPT 4这种LLM模型仅仅学会了语言中的单词共现等浅层的表面统计关系，其实并未具备智能，只是类似鹦鹉学舌的语言片段缝合怪而已；#card

  • 比如不认为大语言模型具备智能的反方知名代表人物，AI圈子里的大佬代表是LeCun，语言学界代表人物是乔姆斯基，都否认通过Next Token Prediction这种方式训练出来的大语言模型能够具备智能；

• 另外一种观点则认为：GPT 4不仅学会了语言元素间的表面统计关系，而且学到了人类语言甚至包括物理世界的内在运行规律，文字是由内在智能产生的，所以LLM具备类人智能。#card

  • OpenAI不说了，毫无疑问是最具影响力的正方代表，从目前的公开言论看，Hinton老爷子很明显也持正方观点，而且特别正方，不仅认为GPT 4具备类人智能，而且觉得将来人类这种碳基智能很可能是LLM这种硅基智能的引导启动程序(Booster)，在这点上Hinton和马斯克（这是简称，全名为：埃隆·电动车之王·火箭先驱·Twitter再造者·环保先锋·火星殖民者·OpenAI唾弃者·马斯克）的看法是类似的。

链接： 曾经火热的Graph Embedding和GNN在推荐系统上还有前途吗？ - 知乎

[[GNN的收益来源是什么？]] :-> 信息利用能力的增强
[[GNN对拓扑结构的利用，对于推荐系统的收益够不够大？]]

有的朋友可能会说，我们把用户和物品之间的行为也加入图中，不久可以把知识、行为和图结构一起编码了吗？#card

• 看起来会让生成的Graph Embedding包含更充分的信息，推荐效果肯定会有提高。

• 这个分析是有道理的，早期Pinterest也通过这一方式获得了收益，但这种超大规模的图训练也存在一些致命的问题。[[GNN在实际应用中的一些致命问题]]

[[GNN的未来在哪里？]]

关于技术更迭的思考

• GNN曾经在学术界是非常火热的研究方向，但实话实说，在工业界却鲜有成功应用。这是业界和学界对于“价值”判断的不同导致的。#card

  • 站在工程师的角度，我们要有火眼金睛，敏锐的分清哪些是看上去很美的方案，哪些是一针见血的方案，它们之间是有本质不同的。

  • 最重要的判断依据还是对于收益来源的精准分析。这里面有理性的成分，也有技术直觉的成分。玄学一点来说，这种直觉才是算法工程师应该建立的护城河。

  • 就像“击败雅虎的不会是另一个门户网站，击败google的也不会是另一个搜索引擎”一样，淘汰一个技术的也不会是它的下一版，而是另一个维度的新方案。

  • 大模型毫无疑问在知识的广度和利用能力上，大大超出基于知识图谱的GNN，也就当之无愧的成为推荐系统新的更强大的信息输入源。

对于行为信息比较丰富的推荐系统来说，比如说抖音、小红书，其大量的用户行为之间的协同关系就可以充分表征内容的相似性了，#card

• 它不再那么需要知识本体和属性间的连接来补充这种相似性。

• 更何况，现在主流的推荐系统也已经通过直接添加特征的方式学习过知识图谱包含的知识了，由GNN提供的增量就更加微不足道了。

另一方面，对于一些纯知识性的推荐系统，比如说豆瓣、IMDB、知网等，#card

• 这些网站中知识的链接是非常重要的，知识间二度、三度的关联也是有价值的。

• 而且它缺乏足够多的用户互动信息来覆盖表达物品之间的相似性，那么GNN就是有价值的。

首先，实事求是的讲，主流的深度学习训练框架对于图数据的训练并不友好。#card

• 我们是可以通过一些工程手段讲图数据转换成序列数据进行处理，但这需要比较重度的投入。

• 而且由于要维护整个知识图谱的拓扑结构并在其上采样，GNN的训练成本往往很高，进一步增加了工程投入。

其次，GNN训练得到的Graph Embedding的实时性比较差，它的训练也无法做到目前主流深度学习模型的实时更新。#card

• 因此GNN不可能作为推荐主模型来使用，只能把生成的Graph Embedding用于召回和特征输入。这让GNN的重要性大打折扣。

• 在深度学习推荐系统早期，大家的实时性都比较差，训练成本没有打下来的时候，GNN还有一定的优势，但如今主流的推荐模型都是实时更新的情况下，GNN的成本和实时性的问题进一步加大了产生绝对正收益的难度，让本来收益来源基础就比较薄弱的方案更加难以打平。

推荐系统优化效果的收益来源 #card

• 收益总是来源于样本、特征和模型三个方向的一个或多个。

• 可以再精炼成两个方面，收益要么来源于信息的增加（样本、特征），要么来源于信息利用能力的增强（模型）

例子

• 比如说，一个电影推荐系统，从来没有利用过电影中的演员信息，这时候把演员的信息加入到推荐系统中，很大概率能够带来效果的提升，因为这部分信息是新鲜的，系统从未学习过的知识，这就是 增量信息 带来的收益。
• 我们的推荐模型本来是一个简单的MLP模型，把所有特征通过MLP进行交叉。但用户的行为是一个时间序列，是有前后关联性的，那么改成sequence model就能够更好的表达用户的行为及背后兴趣的变化，这部分的收益就是 信息利用能力 增强带来的。
  我们拿一个电影阿甘正传的knowledge graph来说，它的相关导演，演员，风格的信息肯定是重要的。但对于一个成熟推荐系统来说，肯定是已经通过其他形式学习过这些信息了，比如直接把这些side information进行Embedding化之后喂给模型。我们没有必要一定使用GNN来学习这些知识，所以GNN的收益不来自于增量信息。#card
  

那么GNN如果有收益的话，就一定来自于信息利用能力的增强。

• 我们拿一个比较经典的GNN方案[[RippleNet]]来说，它一层层的从中心节点扩展学习到周围节点，有二跳、三跳关联关系的学习能力。本质上来说，它利用了knowledge graph点与点之间的拓扑结构，并把拓扑结构中蕴含的关系信息编码到Embedding中去，可以说GNN增强了对知识图谱中关系结构的利用能力，这才是GNN的主要收益来源。#card
  

• 早期基于Random Walk的Graph Embedding生成方案更加纯粹的利用了节点间的拓扑结构。比如Node2vec分别基于BFS和DFS随机游走生成序列后，再进行Embedding编码。所以本质上，Node2vec没有引入任何新的知识信息，而是增强了对关系结构的利用能力。 #card
  

大模型的出现可以说是对GNN的降维打击。如果说曾经GNN对于知识图谱的学习还可谓是有独特优势，在大模型出现之后，GNN在该方向上的优势也荡然无存。大模型对于开放世界知识的全量学习，几乎可以吊打GNN对个别领域的知识学习。特别是多模态大模型几乎可以对文本、图片、音频、视频等任意信息进行同一空间内的Embedding化，更是让GNN的未来更加暗淡。#card

Bender & Koller 两位说英语的荒岛幸存者被困在相邻岛屿上，中间隔着危险水域。幸运的是，他们发现了前任居民留下的电报机，电报机通过一条水下电缆连接起来，他们能够通过电报传递信息。#card

• 但是，他们不知道的是：附近水域里，生活着一个具备超级智能的章鱼，它劫持了水下电缆并拦截了他们之间传送的消息。尽管章鱼不懂英语，但其超级智能使其能够检测到电报信息文字的统计模式，并能准确表示各种电报信号间的统计关系。

• 在章鱼觉得自己已经学好这些统计规律之后，它切断水下电缆，将自己两个长触手定位在电缆的两个末端，基于它所识别出来的统计模式，接收并自己来回复两名漂流者的电报信号。

• 无论两位幸存者是否注意到交流对象已发生变化，章鱼发送出去的信息，在本质上似乎没有任何含义。

• 毕竟，章鱼只是遵循它从人类之间的前期交流中学到的统计模式，而并没有看到过任何人类对信号的解释，比如“椰子”或“海水”所代表的真实含义。此外，章鱼甚至可能都不明白这些信号是具有意义的，或起到了促进交流的功能

example：根据多个 [[F-Note]] 写一个 [[L-Note]] #card

• 这张图片讨论的是托马斯·卡莱尔在1840年的一次演讲中，如何明确了作者身份的定义。他将作者描述为一个受到启发的独立创作者，强调创作的自主性和天才。这一观点奠定了浪漫主义时代作者形象的基础，对之后150年作者身份的观念产生了深远影响。卡莱尔将作者视为由“原创性”、“真诚”或“天才”启发的自主个体。这种独立创作的形象在此后一个半世纪中变得深深植根于现代意识中。

用自己的话重写 fleeting notes 的内容 example #card

• 这张图片中的内容讨论了文学领域对于创意型企业家作为作者合法性的问题。文学学者和文化历史学家表明，他们在21世纪的视角中，仍然固守于由卡莱尔在19世纪中期提出的浪漫主义作者的定义，没有改变。他们难以接受其他类型的作者形象。因此，创意型企业家在这些领域的看法中不被视为合法的作者角色。

第一个例子是健身之后的疲劳感，或者跑完马拉松之后一头倒下的那种感觉。人往往是通过疲劳感来感受到生命力的，健身、跑马拉松之后你会非常疲劳，但同时身体告诉你，你很有生命力。#card

• 为什么健身的人会觉得自己有生命力呢？

  • 因为他的意识跟行动形成了一种有“间隔”的关系。大部分人去健身不是被迫的，是自愿选择的。他知道自己为什么去健身，在这个过程中他会挑战自己，挑战到什么程度由自己把握。他清楚挑战的目的是什么，为什么要挑战，最后达到的结果也跟他的设想差不多。

• 一方面，运动确实是在燃烧生命，如果不燃烧就得不到生命力的感觉，比如躺平很快就会产生无意义感、空虚感，你必须要让它燃烧。在燃烧的过程中是有痛苦的，但是你的意识能够对此有一个清晰的叙述：我为什么干这个、我要怎么干、我会不会失控……这个过程可以自己调配，有一定的自主性，这种意识的存在是非常重要的。

为什么要谈生命力呢？#card

• 在内卷的时代，大家经常讲行动力、执行能力这些词，但生命力和行动力的差别很大。

第二个例子，很多行动力非常高的年轻人，看上去非常忙，一天到晚要做很多事情，但他们往往会觉得这种忙是在消耗他的生命力，#card

• 因为他没有办法对自己生命燃烧的过程产生一种意识上的间隔，他觉得他的意识完全被任务执行的过程所碾压，没办法从行动当中稍微抽身出来，去思考自己正在干什么、为什么干。

我想通过这个例子讨论，我们如何在一个不理想的状况下去寻找生命力。#card

• 健身的例子虽然典型，但它不是非常有代表性，因为我们生活中的绝大部分时间不是在健身，而是在做很多工作。这些工作总是不那么令人愉快的，也不是百分百自己想做的。这个时候，我们的意识能不能跟行动产生间隔。但是我们能不能够告诉自己：我做这个事情确实是不太令人满意的，但是有怎样的原因。如果我们能对此做一个前因后果的叙述，就能够保证一定的生命力。

• 现在我们看到的生命力的消耗，不仅是忙，而且在忙的过程中没办法让意识从行动当中抽身出来，对自己有一个叙述，大家都觉得被碾压了。

我希望通过分析来展示，意识无法抽身 的责任不是完全在于我们个人的。

• 无论是工作还是学习，我们的任务都被设计成这样多头的、分散的、一个接一个碾压性的。特别是在学校，时间和空间的安排、每天学习任务的安排，都阻止着 间隔 的产生，人就很难有能力用意识再去反观自己的行动，形成自己的叙述。
• 而且，间隔的产生不是完全自然的，需要一定的培养，需要很多别的经验来支撑，需要有别的参照系，但 学生 比较年轻，现在除了上学可能还要补课，学校里的事情就构成了他们的整个世界，很难让他们自己形成一个比较独立的反思，去思考我在这里学习究竟是怎么一回事。
• 失去 间隔 ，他就会感到意识被碾压，再加上体力的消耗等等，他会就觉得生命力非常消耗。

项飙之前谈工作的观点

• 很多年轻人之所以抗拒“重复的工作”，不是因为“重复”本身，而是因为 “意义的贫困” ，即 看不到工作产生的意义是什么 。加上大多数人不是在拼命工作就是在拼命消费，根本没有时间停下来思考意义，就会陷入更加恶性的循环。你看，当你问出“真是这样吗”，就会发现“好工作”也是重复的，重要的反而是去寻觅工作的意义。

最后一个例子，很多艰苦的、或者我们看上去无意义的劳动，在不同的情况下对人的影响是不一样的。但凡人们能够对那种无意义的劳动产生一种 有意义的叙述，他就不会一直感到被碾压。#card

• 往往越是在受过教育的专业部门，比如律师事务所、金融机构，越难以产生间隔意识，因为在他们的整个教育过程中，唯一的目标就是把他培养成一个律师、一个金融分析家，专业就构成了他的整个的世界，他很难跳出日常的专业工作任务来看待这些工作。反而开小餐馆的人，或许他也觉得做的事情很无聊，但他能和邻里街坊产生联系，这就会给他一种另外的意义，他就不会觉得会被工作碾压。

总的来讲，生命力不等于 行动力 ，对生命力很重要的是意识和行动之间的 间隔 。

链接： 快手推荐算法工程师的1年半: 业务驱动的算法创新 - 知乎

我的工作方法：持续思考，不盲从

• 第一，跨界学习，但有选择性。#card

  • 我不会把自己局限在推荐算法这一个领域，而是广泛涉猎各种AI技术和理论基础。我会关注最新的NLP或CV领域里有突破性的论文，从中汲取灵感，但不怎么喜欢看推荐系统的论文——说实话，这个领域平均质量比较差，大家都在玩小数据集，都在搞自己的baseline，每篇论文都声称自己超越了前人，很难让人信服。

  • 我更喜欢阅读经典书籍，比如《Probabilistic Machine Learning》《动手强化学习》，以及一些高质量的公开课，比如香港大学的信息论、UC Berkeley的CS285强化学习课程。这些系统性的理论知识比追逐最新论文更能给我带来深刻的理解和灵感。当然，需要写论文时我也会认真调研现有工作。

• 第二，问题驱动，从业务痛点出发。#card

  • 每次解决问题，我不是先想"我要用什么酷炫的算法"，而是认真思考"业务的真正痛点是什么"。快手的用户体量巨大，行为异常复杂，理解业务比套用算法重要得多。通过分析用户行为数据，常常能发现被忽视的模式和优化机会。

• 第三，写作倒逼思考。#card

  • 有了初步想法后，我喜欢尝试把它整理成论文形式。这个"倒逼"机制特别有用——它逼着我系统思考问题，找理论依据，设计合理实验，最终不断完善算法。

  • 正是这种方法让我在一年半时间里完成了四篇算法研究，更重要的是在实际业务中创造了价值。

• 第四，小步快跑，迭代验证。#card

  • 我在快手学到的另一个重要方法是"小步快跑"。不追求一步登天，而是先上最小可行版本验证思路，然后根据反馈不断迭代。这种方式让我能迅速试错，及时调整方向，大大提高了工作效率。

CQE算法：从"预测总是不准"到"建模整个分布"

• 动机：为什么watch time预测总不够准？#card

  • 在快手，我最初负责多样性相关工作，这强烈依赖于各种PXTR（预测值）的准确性。日常工作中我发现一个有趣的现象：我们的模型在整体指标上看起来还不错，但对单个用户-视频对的时长预测却经常有很大偏差。有时候模型预测用户只会看几秒，结果他看完了整个视频；有时候预测会看很久，实际却几秒就划走了。

  • 思考后我意识到问题的本质：我们一直在用一个点估计（单一期望值）来预测本质上充满不确定性的行为。我们无法完全获取用户的信息，导致用户的行为本身就是随机的。同一个用户在同一个时间看同一个视频的时长是一种分布，这种不确定性用单一值根本无法准确捕捉。

• 灵感：分位数回归的应用#card

  • 解决思路的灵感来得很偶然。一天早上，我在会议室里看《Probabilistic Machine Learning》这本书，读到Quantile Regression（分位数回归）章节时，突然有种被闪电击中的感觉——分位数回归不就是描述分布的好方法吗？它能同时预测多个分位点，从而刻画整个分布的形状！

  • 当天我就迫不及待地开始实现这个想法。基本思路是：不再预测单一的期望watch time，而是同时预测多个分位数（比如10%、25%、50%、75%、90%分位数），从而捕捉watch time的整个条件分布。这样，我们不仅知道用户可能观看多久（中位数），还能了解这个预测的不确定性范围（分位数间距）。

• 意外的发现：分布特性与预测准确性的关系#card

  • 在论文的Rebuttal过程中，一位审稿人提出了一个尖锐问题：“有什么量化的数据支持分布建模的重要性吗？”。这个问题确实难倒了我。

  • 为了回应这个问题，我进行了一项额外实验：研究分布特性（如IQR，即分布宽度）与预测准确性之间的关系。结果出乎意料地清晰：

1
2
3
4
5
6

IQR范围    UAUC    MAE    样本比例
[0.0,0.1]  0.721   0.105   0.077
[0.1,0.2]  0.693   0.148   0.226
[0.2,0.4]  0.631   0.197   0.543
[0.4,0.5]  0.573   0.266   0.134
[0.5,1.0]  0.536   0.305   0.020

+ 这张表告诉我们：分布不确定性越小（IQR越小）的样本，预测准确性越高（UAUC更高，MAE更低）。这个发现不仅回答了审稿人的问题，还让我对用户行为本质有了更深的理解：用户行为的可预测性是不均匀的，有些行为模式（如重度用户）更稳定可预测，而另一些（如新用户或探索行为）则充满不确定性。

+ 有了这个watch time分布建模方法后，我们就可以根据业务需求设计不同的推断策略了，比如保守估计、动态分位数融合等。最终，CQE算法在线上带来了可观的留存（LT）、时长、播放量（VV）和多样性收益。

AlignPxtr算法：从复杂因果推断到简单对齐

• 问题：学术界的方法为何如此复杂？

  • 推荐系统中存在另一个关键挑战：偏见（bias）问题。在快手，最典型的就是时长偏见（duration bias）——用户自然会在更长的视频上花更多时间，但这并不一定反映真实兴趣。#card

    • 当时学术界流行用因果推断来消除这类偏见。

    • 我阅读了大量论文，发现它们都构建了复杂的因果图，用反事实推理或后门调整等高深技术。

    • 这些方法理论上很优美，但实施起来较为复杂，让我不禁怀疑其在工业界的实用性。

• 洞察：简化的力量

  • 有一天，我突然意识到一个关键点：不管这些方法多复杂，最后的结果，本质上它们不都是在对预测值做某种形式的"标准化"或"对齐"吗？核心就是将原始预测值除以或减去与偏见相关的后验统计量（均值或分位数）。#card

    • 我开始质疑：这些复杂方法的核心价值到底在哪？它们真能细化到用户ID级别吗？在实际业务环境下，会不会有更简单直接的方法效果一样好甚至更好？

    • 带着这些疑问，我尝试了最简单的方法：直接对齐预测值（PXTR）的均值。具体做法是，对于每个偏见因素（如视频时长），计算不同条件下的预测均值，然后从原始预测中减去这个条件均值的偏差。

    • 令我惊讶的是，这个简单方法在线上测试中带来了显著收益！这让我对学术界复杂方法的必要性产生了深刻质疑。

• 理论突破：从均值对齐到分布对齐

  • 后来我系统学习了信息论知识，并做了一系列可视化分析，才恍然大悟：原来对齐PXTR的均值，本质上是在降低变换后的PXTR与偏见因素之间的互信息。而如果能对齐整个分布（所有分位数），理论上可以让这个互信息降为零，达到完全独立。#card

    • 这个洞察让我把前面的CQE与新的对齐思想结合起来，形成了AlignPxtr（Aligning Predicted Behavior Distributions）算法。它的核心是：通过条件分位数映射，将不同偏见条件下的行为分布对齐，从而消除偏见影响。

    • AlignPxtr的成功让我深刻认识到：在算法设计中，简单往往是一种力量。有些问题看似需要复杂的理论框架，但仔细思考后可能发现有更直接、更有效的简化方法。正如爱因斯坦说的：“Everything should be made as simple as possible, but not simpler.”（一切应该尽可能简单，但不能过于简单）。

• 效果 #card
  

SEC算法：从强化学习到行为克隆的思维跃迁

• 问题背景：如何优化长期用户留存？#card

  • 我的第三个研究方向来源于对用户留存（retention）问题的思考。推荐系统的最终目标不仅是提高短期参与度，还要确保用户长期留存。传统的基于点击率、观看时长的优化可能带来短期收益，但不一定有利于长期留存。

• 灵感源泉：卧室里的强化学习书籍#card

  • 当时我正躺在床上翻阅《动手强化学习》这本书，思考如何将RL应用到留存优化中。传统的强化学习方法需要设计合适的reward函数，并通过试错学习找到最优策略。但在实际业务中，这面临两个巨大挑战：一是如何设计与长期留存挂钩的reward函数；二是在线探索可能带来负面用户体验。

  • 正当我为这些难题发愁时，翻到了书中关于行为克隆（Behavior Cloning）的章节，突然灵光一闪：快手有海量用户数据，其中不乏高留存用户，何不直接克隆这些"专家"用户的行为模式？相比复杂地设计reward和冒险的在线探索，这种方法直接得多！想到大语言模型的Pretrain和SFT（监督微调）阶段本质上也是行为克隆，我更加确信这个思路的可行性。

• 创新点：多层次专家与策略多样性

  • 进一步思考后，我发现单纯的二分法（专家/非专家）太过简化。用户活跃度有多个层次，从超高活跃到高活跃再到中等活跃，每个层次可能有不同的行为模式。#card

    • 同时，研究中我还注意到一个严重问题：简单的行为克隆容易导致策略崩塌（policy collapse），即模型只学到非常有限的行为模式，缺乏多样性。这在推荐系统中尤其危险，因为用户兴趣本身就是多样的。

  • 结合这些思考，我设计了SEC（Stratified Expert Cloning）算法，它包含三个关键创新：#card

    • 多层次专家分层：根据活跃度将专家分为多个层级，分别学习不同层级的行为模式

    • 熵正则化：借鉴LeCun的工作，引入熵正则化防止策略崩塌，促进多样性

    • 自适应专家选择：为每个用户动态选择最合适的专家策略

• 惊人的效果：改变数十万用户的留存 #card
  

  • SEC还可以用在用户兴趣拓展：

算法工程师的元认知：我的思考方式

• 这一年半的工作经历，让我对算法创新的本质有了更深的思考：

• 复杂与简单的权衡#card

  • 在算法设计中，我常陷入一个两难选择：是追求理论上完美但实现复杂的方案，还是选择实用简单但可能次优的方案？

  • 经过反复实践，我的结论是：理论洞察很重要，但最终方案应该尽可能简单。好的算法像冰山，水下是深厚的理论思考，水上却是简洁易懂的实现。我的三个算法都体现了这一点——它们背后有深入的理论分析，但最终实现却相对直观简洁。

  • AlignPxtr可能是最典型的例子——我直接用简单的对齐方法取代了复杂的因果推断框架，不仅实现更简洁，效果还可能更好。这正是我经常提醒自己的：不要被复杂性迷惑，真正的优雅往往是简洁中蕴含深度。

• 理论与实践的循环提升#card

  • 我发现，理论思考和实践验证之间存在一种奇妙的正反馈循环。好的理论指导实践方向，而实践中的反馈又能纠正和完善理论。

  • 比如在SEC研究中，起初我只考虑了行为克隆的基本思路，但实践中发现策略崩塌问题，这促使我引入熵正则化；而熵正则化的效果又让我进一步思考多样性在推荐系统中的理论意义。这种"理论-实践-再理论"的循环迭代，让我的思考不断深入、算法不断完善。

  • 在反复实践中，我意识到：创新不是一蹴而就的灵光乍现，而是在这种循环中渐进式产生的。每次迭代都在我的思维中植入新的种子，最终生长为有价值的算法创新。

• 结语：算法创新的本质#card

  • 经过一年半的实践，我对算法创新的本质有了更深理解：它不是为了创新而创新，而是为了解决实际问题；它不仅仅是数学和代码，还包含对业务的深刻理解；它的价值不在论文发表数量，而在于给用户和业务带来的实际改进。

  • 回想起写这三个算法的初衷，我都是从一个简单的业务问题出发：CQE源于"为什么watch time预测总不准"的困惑，AlignPxtr源于对复杂因果推断方法的质疑，SEC则是想避免复杂的强化学习探索。每次，都是从实际问题出发，通过深思熟虑和反复验证，最终发展成一个完整的算法框架。

  • 这告诉我：真正有价值的创新，往往源于对实际问题的深刻洞察，而不是为了创新而创新。

链接 推荐精排如何加特征？ - 知乎

关注问题#card

• 第一、特征是重要的先验知识，但是有时我们自认为加入了一个非常重要的特征，但是模型效果却没有提升，这是特征无用呢？还是加的位置不对呢？

  • 第一个话题，就讨论如何将“先验重要”的特征加到合适的位置。

• 第二、在多目标的场景下，如果某个目标比较稀疏，我们如何利用先验知识辅助它，使其能学得更好呢？

信心满满地设计了特征，感觉非常有业务sense，吭哧吭哧打通了上下游数据链路，模型预测一看，离线指标却稳如泰山。造成这种情况的原因有很多，其中一个可能就是，如果你的特征确实有用，但他没发挥作用的原因，很可能是特征的位置不对。#card

• 第一，如果你先重要的特征加到DNN底部，层层向上传递，恐怕再重要的信息到达顶部时，也不剩下多少了。

• 第二，DNN的底层往往是若干特征embedding的拼接，动辄五六千维，这时你新加入一个特征几十维的embedding，被“淹没”恐怕也不会太奇怪。那么，特征究竟要如何加才能发挥效用呢？这正是本文探讨的话题。

[[重要特征加得浅]]

• [[Wide&Deep]]

  • wide侧就是一个LR，或者我们稍微扩展一下，就是一个一层的NN网络。#card
    • wide侧的特征离Loss近，避免了自DNN底部层层传递带来的信息损失，更有机会将我们的先验知识“一步到顶”。

• 那么，哪些特征要进wide侧，哪些特征要进deep侧？:-> wide侧负责记忆，因此要将“强业务背景，显而易见的特征，喂入Wide侧”。

  • 在推荐领域加入wide侧#card

    • 特征及特征对上的统计数据，<女性，20~30岁，商品类别是‘裙子’>上的点击率、加购率等；

    • 或者，我们已经发现了非常明显的用户分层，比如登录用户 VS 未登录用户、高频VS低频，用户行为完全不同。为了提升模型对“用户是否登录”、“高频低频”这样强bias特征的敏感度，这些特征也。

  • 这里多提一个扩展性案例、与用户分层类似，淘宝的STAR《One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction》也是将domain-id这样的强bias特征，喂入一个非常简单的dnn，得到的logits再叠加到主网络的logits上，算是wide&Deep的一个变种。#card

    • 论文最后坦言，“the auxiliary network is much simpler … The simple architecture makes the domain features directly influence the final prediction”，有兴趣或者相似场景的同学可以去试一下。

重要要特征当裁判

• 对于一些强bias特征（eg：用户是否登录、来访天数），除了将它们加浅一些，离目标Loss更近，还有一种方法能够增强它们的作用，避免其信息在dnn中被损失掉，就是采用结构 :-> [[SENet]]或[[LHUC]]

• SENET就相当于用户站在输入特征旁边，亲自下场辨认哪个特征有多重要，这其实也是一种变相的 self_attention 机制（如果SENET的输入是所有特征的话，可能就更接近self_attention的思想了）
  

  • 强bias特征作为LHUC的输入，经过sigmiod激活函数后，输出是一个N维度向量。#card

    • N是所有fileld的个数N维向量就是各field的重要性，将其按位乘到各field的embedding上，起到增强或削弱的作用加权后的各field embedding再拼接起来。

  • 当然，如果SENET的输出维度N直接是input_layer的维度也可以，这就从vector_size变成 element_size 。

• 喂入上层DNN这种结构，将一些先验认为重要的强bias的特征，放到裁判的位置，决定其他特征的重要性。#card

  • 比如，如果产品设计不允许未登录用户购买商品，那么显然“用户未登录”这个特征值，就“应该”将转化相关特征的权重置为0，因为它不能代表用户的真实意图。

  • 这样做，相比于将所有特征“一视同仁”、直接全部喂入DNN最底层，更能发挥重要特征的作用，将“先验知识”（比如这里的产品设计限制）深入贯彻。

一般都有哪些重要特征呢？

• 表征用户本身bias的，#card

  • 比如用户的活跃程度、消费等级、性别、圈子等。

• 表征上下文场景的bias的，#card

  • 比如用户几点来APP啊；

  • 用户当天有没有显著表露意图，比如淘宝上搜索了，加购了，购买了；

  • 商品位置信息等等。

• 表征样本bias的，#card

  • 比如快手之前将快手APP、极速版上同一个场景的样本合并在一起训练，那么样本来自哪个APP也就是一个至关重要的特征了。

链路前节点信息帮后链路稀疏目标学习

• 当前，多目标在推荐领域已经是屡见不鲜，以商品推荐为例，我们曝光透出的商品，不仅要让用户点击，用户点击代表着用户愿意花时间和APP一起玩，这直接代表着APP的生态；而点击之后还要尽可能地加购，当然最终目标是转化，转化直接关系公司营收。因此，我们从来不做选择，我们全都要！#card

  • 多目标之间往往存在前后依赖关系（比如先点击，才有可能转化），这样意味着，链路越靠后的环节，正样本就越稀疏，训练收敛也就越困难。因此，一个自然的想法就是多目标之间能否互助，或者一个稍微牺牲一点点去辅助另外一个而达到整体更优。

• 信息从前往后迁移

  • 典型的案例有ESMM模型，pCTCVR=pCTR*pCVR。CTR任务的数据更多，预测精度更高，会给CTCVR的预测任务以提示。或者DBMIT模型。他们都是“拿链路前端环节的输出，作为链路后端环节的输入”，即“利用先验知识显式制订信息迁移规则”的典型手段，#card

    • 以商品推荐为例，点击环境的训练数据丰富、他的隐层输出，将极大帮助转化这个靠后环节的训练，当然这也符合一般认知，我们可以认为用户一旦点击了，他就朝着购买这个终极目标前进一步，用户加购了，则再进一步，

    • 因此，将点击、加购信息直接显示迁移到转化上，是符合产品设定下用户真实习惯的。

外推性 #card

• 是指大模型在训练时和预测时的输入长度不一致，导致模型的泛化能力下降的问题。

• 例如，如果一个模型在训练时只使用了512个 token 的文本，那么在预测时如果输入超过512个 token，模型可能无法正确处理。

• 这就限制了大模型在处理长文本或多轮对话等任务时的效果。

一般建模观看时长用回归还是分类算loss？#card

• 回归 loss

• training weighted LR #card

淘宝搜索的向量召回特征包括语义特征与个性化特征。

• 语义特征基于query和item title，#card

  • 不同的是query侧使用多粒度的文本encoder，同时增加当前query的补充term（历史query，这里可能是历史统计得到的相似query），

  • 而item侧语义特征则仍然使用title terms。

• 个性化特征#card

  • user/query侧使用实时、短期、长期的用户行为（点击过的商品、店铺等），

  • item侧则直接通过itemId获得商品embedding与语义特征拼接融合。

• 模型同样是双塔结构，

  • User tower的向量表示 #card

    • user/query侧一方面使用query多粒度term进行embedding映射，包括 1－gram，2－gram，query terms（q＿seg）以及补充的query terms（q＿his）。

    • 此外，q＿his的输入先经过和qseg的attention得到 $q_{\text {his＿seq }}$ ，q＿seg同样也会通过Transformer得到深度的语义特征 $q_{s e q \_s e q}$ 。

    • 最后各粒度特征通过加和，concat得到不同粒度的query表示向量矩阵 $Q_{m g s}$ ，而后 $Q_{m g s}$ 分别和实时，短期，长期的用户行为的特征表示做multi－head attention，最后得到。

  • 商品的表示比较简单，#card

    • 使用itemId embedding和title terms embedding拼接得到。

  • 不同于使用hinge loss或者tripe loss，本文使用sampled softmax cross-entropy loss来进行模型训练，#card

    • 期望得到全局的正负样本距离度量，以尽可能的实现训练和预测分布的一致性（pair wise loss则更关注局部的正负样本距离度量）。

    • $$$$

\hat{y}{\left(i^{+} \mid q_u\right)}=\frac{\exp \left(\mathcal{F}\left(q_u, i^{{+}\right)\right)}{\sum_{i}{\prime} \in I} \exp \left(\mathcal{F}\left(q_u, i^{\prime}\right)\right)}, \
L(\nabla)=-\sum{i \in I} y_i \log \left(\hat{y}_i\right),
\end{gathered}

样本构造 + 训练数据使用点击日志，点击数据为正样本，由于使用了sampled softmax，负样本相当于从商品池中随机采样。#card + 难样本挖掘：人为对负样本加权#card + 对随机负样本query-item pair对进行模型预测（中间模型），取Top-N的内积score的item向量表示集合 I + 正样本 i+，线性相加得到难负样本表示 Imix + alpha 平衡样本的难度 由于引入了个性化特征、记忆性的Id特征，模型不可避免地引入相关性badcase（其实不加个性化特征也免不了）。因此策略上线时还做了一些额外的相关性控制策略#card + 通过核心term（如品牌、颜色、型号等属性）匹配限制，避免模糊匹配带来的语义漂移等问题 

搜索广告场景

• Mobius的模型架构同样是双塔结构，不同于常规的二分类任务，这里可以认为是3个任务，user&query tower的输出向量和ad tower的输出向量分别分成三份，分别对应计算向量匹配分，#card

  • 相应地分别预测点击、不点击以及是否为高点击的相关性badcase。

• 三个任务的logist输出经过softmax层归一化得到u-q-ad的pair对各任务的概率。通过这种方式，Mobius实际上将样本标签分成了三个类：#card

  • 高点击但不相关、相关&低点击率、相关&高点击率，实现在相关性基础上的CTR建模。

模型使用历史点击日志作为基础数据集（<user/query，ad，clicked/unclicked> 对）。为了实现上述的三分类，还需要一个是否为badcase的label。这里使用相关性Teacher模型（预先训练好的）根据阈值来判断pair对是否相关，随后将样本送到CTR模型（Neural Click Model），进而找到低相关且高点击的样本作为badcase。得到bad标签后，进行CTR模型训练和参数更新，由此循环迭代，伪代码如下：#card

除了基础的相关性特征（如query token和item title token），本文方案（DPSR）增加了多种个性化特征以提升模型对个性化信息的关注，

• 用户侧包括：#card

  • User Profile：用户画像特征，如用户性别、年龄、消费能力、区域等，用于刻画用户的静态基础特征。
    User History Events：用户历史行为特征，如历史点击商品、搜索query、类目品牌偏好、点击率、成交率等。

• 商品侧个性化特征包括：#card

  • 商品品类、品牌、邮寄类型，又如商品、店铺历史表现等。通过增加个性化特征，模型能够捕获用户偏好和商品除文本语义之外的属性特征。

模型采用经典的双塔架构，包括user/query tower和item tower两个模块。各特征离散化后通过embedding average或concat映射到固定维度后拼接，并经过DNN网络分别得到user和item的特征向量。此外，在user/query tower模块使用了multi-head来提取更加多样的特征（有点模型ensemble的感觉）。#card

• item tower和user/query multi-head使用attention的方式进行匹配分数融合

• Multi-head的attention仅在训练阶段计算，在线检索时，每个head将分别进行召回并通过内积分数截断同样数量的商品进行统一排序。

文章训练数据的构造比较简单直觉：#card

• 使用用户点击数据为正样本（10亿级别）。

• 负样本同样没有使用曝光未点击的商品，因为未被点击的商品不一定不相关。

  • random negatives、in-batch negatives，二者合并作为负样本参与训练 $N_i=N_{\text {rand }} \cup N_{\text {batch }}$

  • 文章指出随着rand负样本比例的增加，商品的个性化（或热度）逐渐变强，更容易点击/成交，相应地相关性也会一定程度下降。

如何提升链路目标一致性？爱奇艺短视频推荐之粗排模型优化历程_AI&大模型_爱奇艺技术产品团队_InfoQ精选文章

想法

• 2021 年的文章，看起来还是轻松一点，有一些简单的思路其实可以尝试。

背景

• 最初采用的粗排模型可以归为上述第二类选型模型，是一个基于各个纬度统计特征的 GBDT 模型。统计特征维度主要包括下面几个维度： #card

  • 1. 不同属性的用户群体对不同类型视频（分标签、创作者和视频本身等）的消费统计特征。
  • 2. 视频维度累积的消费统计特征，如视频的点击率、时长消费中位数和均值等；创作者 up 主的消费统计特征以及视频标签的消费统计特征等。
  • 3. 用户历史消费的视频内容统计特征，如用户历史消费的类型标签统计、消费的创作者内容统计等。

• 在业务的精排模型优化升级为 wide&deep 模型后，我们对粗排模型和精排模型的预估结果做了详细的统计和分析，发现粗排模型预估为 top 的头部视频和精排模型预估的头部视频有很大的差异。归咎原因主要是以下两方面的原因：

  • id:: 6804cbee-9175-46d7-9774-d87b1946da57

1. 特征集合的差异：#card

   • 粗排 GBDT 模型中主要是一些稠密类统计特征，而精排 wide&deep 模型中发挥重要作用的特征主要是用户长短期消费的视频 id、视频 tag、up 主 id 等以及视频本身的 id、tag 和 up 主 id 等稀疏类型特征。

   • id:: 6804cbee-5d4a-4da2-84d7-d7c416843252

2. 模型结构的差异：#card

   • 树型结构模型和 DNN 模型的优化和拟合数据时的侧重点还是有很大的差异的。

   • 除了预估结果和精排 wide&deep 模型有比较大的差异性外，GBDT 模型在特征处理和挖掘方面还需要投入大量的人力。综合以上分析，为了尽量弥补粗排模型和精排模型的 Gap，缩小粗排模型和精排模型预估结果的差异性，并节省大量特征统计和挖掘的人力成本，我们对粗排模型进行了一系列的升级和优化。

[[双塔粗排模型]]

粗排双塔 DNN 模型结构图

+ 

+ 用户侧和 Item 侧分别构建三层全联接 DNN 模型，最后分别输出一个多维（512）的  **embedding 向量**  ，作为用户侧和视频侧的低维表征。
+ 在构建粗排模型特征集合时，为了控制粗排模型参数的复杂度，我们对粗排的特征集合做了大量的裁剪，用户侧和视频侧都只采用了少部分精排模型的特征子集。 #card
  + 其中，用户侧特征主要选取了下面几维特征：

    + 1. 用户基础画像特征、上下文特征如手机系统、型号、地域等。

    + 2. 用户的历史行为特征，如用户观看的视频 ID、up 主 ID，以及观看视频的关键词 tag 等，以及用户 session 内的行为特征等。

  + 视频侧特征只保留了三维：

    + 1. 视频 ID

    + 2. up 主 ID

    + 3. 视频标签

[[知识蒸馏]] 实现模型压缩

+ 在蒸馏训练的过程中，为了使粗排模型输出的 logits 和精排模型输出的 logits 分布尽量对齐，训练优化的目标从原来单一的粗排模型的 logloss 调整为 :-> 三部分 loss 的加和，包括 student loss（粗排模型 loss）、teacher loss（精排模型 loss）和蒸馏 loss 三部分组成。#card
+ 其中蒸馏 loss 我们线上采用的是粗排模型输出和精排模型输出的最小平方误差，为了调节蒸馏 loss 的影响，我们在该项 loss 前又加了一维超参 lamda，我们设置超参 lamda 随着训练步数迭代逐渐增大，增强蒸馏 loss 的影响，在训练后期使得粗排模型预估值尽量向精排模型对齐，lamda 随着训练 step 的变化趋势如图四所示。#card

Embedding 参数优化 #card

• 将模型 embedding 参数的优化器替换为稀疏解优化神器 FTRL

• 其他层的参数依然还用 AdaGrad

• 练得到的粗排模型的 embedding 参数全为 0 的比率也高达 49.7%之多。我们在做模型导出时，裁剪掉了全为 0 的 embedding 参数，粗排模型大小减小了 46.8%，使得模型的传输速度也有近一倍的提升，同时线上加载模型的内存消耗也降低了 100%。

线上 Inference 优化

• 首先在计算 user 侧 embedding 时进行了合并计算，对同一个用户+千级别候选视频 pair，在计算 user 侧 embedding 时，将 user 侧的特征独立拆分，只过 一次 user 侧 NN 的 inference。这个优化使得粗排模型打分计算服务 p99 的计算耗时减少了 19ms 左右。
• 此外，基于视频推荐时特别长尾的分布，以及如前文所述，粗排模型视频侧的特征全部是静态特征（视频 id 确定，特征也是确定的），我们对高频视频的 embedding 进行了缓存。视频侧 embedding 优先从缓存里查询，未命中缓存时再进行 inference 计算。优化后的粗排打分服务架构如下图五所示：#card
  

级联模型

• 目的 #card

  • 为了一劳永逸地解决粗排模型目标和精排模型目标一致性的问题，我们对粗排模型进行了又一次的迭代优化。

  • 通过升级为级联模型，使得粗排模型能够自适应地对齐精排模型目标的变化，同时也节省了蒸馏训练的环节，大大地节省了训练资源消耗。

• [[粗排目标是判断item是否在精排 topk]] 从实践的角度，级联模型对模型结构以及模型输入的特征集没有做任何修改，只是调整了粗排模型训练样本的生成方式，升级后的粗排模型从学习线上真实曝光点击/播放样本，调整为直接学习精排模型的预估结果，将精排模型预估 topn 的结果作为粗排模型学习的正样本。级联模型的样本生成方式具体如图六所示。#card
  

  • 所以这一次升级粗排模型到级联模型只是简单地调整了模型的训练样本，却取得了很显著的收益，除了去掉了蒸馏学习的环节，大大地缩减了粗排模型训练的资源和时间消耗，实际上线也取得了很显著的收益，视频推荐场景的曝光点击率和人均有效观看视频数都提升了 3%左右。同时各项互动指标也有显著提升，其中人均评论量有 12%的显著提升。

分析：固定缩放的缺陷分析 #card

• 在NTK中 $S=\frac{L^{\prime}}{L}$ ，在推理时，这里的 $S$ 是固定的（ $L^{\prime}$ 是固定的扩展上下文大小，$L$ 是预训练时候的最大上下文长度）。但是，这可能导致推理的序列长度 $<L$ 时会损失模型性能。

动态 NTK 的公式定义 :-> 动态缩放因子：$S=\max \left(1, l^{\prime} / L\right)$ ，其中 $l^{\prime}$ 是当前输入的实际长度。，这就允许模型在达到训练的上下文限制时较为缓慢地退化性能，避免了骤降。

• 逻辑：#card

  • 当 $l^{\prime} \leq L$ 时，$S=1$ ，频率基保持原样，位置编码与预训练一致。

  • 当 $l^{\prime}>L$ 时，$S=l^{\prime} / L>1$ ，按实际需要的长度逐步增加频率基的缩放，避免突然调整。

FashionBert和文本模态下的BERT一样，分为预训练和微调两个阶段，为了适应<query, title+image>的匹配，FashionBert在微调之前又增加了triple input的微调。

预训练阶段：#card

• 和常规的多模态BERT一样，以BERT结构作为encoder，文本模态为商品标题，Tokenize后输入到模型。

• 视觉模态为商品图片，先通过CNN网络提取成Patch Embedding输入到BERT。

• 文本和视觉特征输入以[SEP]分隔。

• 预训练任务包括图文匹配、Mask预言模型任务、Mask视觉特征任务。数据则使用商品维度的<title，image>对即可。

Triple Input微调：在检索任务微调之前，FashionBert先经过了一个<query, titel, image> 三元组输入的微调，以进一步适应<query, title+image>的跨模态匹配任务，训练数据为搜索点击日志构造的query-item信息对，整体结构如下：#card

跨模态匹配微调：跨模态微调任务与经典的DSSM架构一致，只是doc端的输入升级为图文特征。query、title、image可以共享同一个BERT模型，以Segment Id区分。训练数据同样为搜索点击日志构造的<query, item>pair对。#card

结构 #card

关于RoPE中不同维度的波长，有如下结论：存在某些维度 i ，其波长 $\lambda_i$ 大于在预训练期间看到的最大上下文长度 L 。也就是说：在训练期间，存在某一个维度，旋转一圈后超过了 token最大上下文长度 L 。具体每个维度的波形可以参考图1－3，即Sin方法的绘图，其中 $d=20, p o s \in[0,100]$ 。#card

• 如果某些维度的波长大于上下文长度 $L\left(\lambda_i>L\right)$ ，这说明该维度无法执行全旋转。在这种情况下，由于维度在预训练期间至少不会完全旋转一次，如果我们选择第一个token作为基准，那么在预训练期间每隔一个token到它的距离是唯一的，NTK可以用来确定它的绝对位置信息。

• 相反，如果某个维度波长小于L $\left(\lambda_i<L\right)$ ，那该维度就执行了至少一次全旋转，我们就无法在这个维度描述绝对距离，只能描述相对位置信息。

#card 因此，作者认为，不要对『只编码相对位置信息的维度』 $\left(\lambda_i<L\right)$ 进行内插破坏，因为它们对于模型区分附近token的相对顺序至关重要。同时，应该始终对仅编码绝对位置信息的维度 $\left(\lambda_i>L\right)$ 进行内插，因为较大的距离将超出之前模型能够编码的距离。综上，可以制定一种考虑以上所有因素的显式且有针对性的插值方法，即：

• 如果波长远小于L，此时编码了相对位置的维度，因此不进行内插；

• 如果波长大于L，此时编码了绝对位置的维度，应该进行内插以防止超出绝对位置的最大可编码范围；

• 波长介于上述之间的维度，采用NTK－aware方法。

NTK-by-parts公式 #card

现状：PI会在扩展倍数特别大时显著降低位置编码区分不同位置的能力，这种现象称之为高频信息的损失。

• [[RoPE]] 中周期和频率关系 #card
  

• PI 频率降低、角频率降低、旋转角度降低原因 #card
  

NKT（Neural Tangent Kernel）的思想 :-> 高频外推＋低频内插，即将 $\theta_i=b^{-2 i / d}$ 改为 $\theta_i=\left(b \cdot S^{d /(d-2)}\right)^{-2 i / d}$ ，也就是改变了基底（这里 $\mathrm{b}=10000$ ， $\left.S=L^{\prime} / L\right)$ 。

• 位置编码的本质是求位置n的β进制数 #card
  

• NKT推导2——统一高频外推和低频内插 #card
  

代码修改 #card

1
2
3
4
5
6
7
8
9
10
11
12

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
import torch
import transformers

old_init = transformers.models.llama.modeling_llama.LlamaRotaryEmbedding.__init__
def ntk_scaled_init(self, dim, max_position_embeddings=2048, base=10000, device=None):
  #The method is just these three lines
  max_position_embeddings = 16384
  a = 8 #Alpha value
  base = base * a ** (dim / (dim-2)) #Base change formula # NTK-Aware
  old_init(self, dim, max_position_embeddings, base, device)
transformers.models.llama.modeling_llama.LlamaRotaryEmbedding.__init__ = ntk_scaled_init

使用RoPE，以长度为L训练完成模型后，当输入超过L会发生性能剧烈下降，一些论文提出可以通过给模型喂一些长度大于L的输入来微调模型，进而逐步将原始窗口长度扩大，但其代价和成效不佳（实验结果如下图4-1）。#card

思路：将超出L部分编码值压缩到L内。#card

• 上图4-2中，外推bound的计算是用了aber变换

论文针对外推（Extrapolation）和内插（ interpolation），也给出了一些实验，见图4-3： #card

图4-3的实验代码如下： #card

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

import torch
import matplotlib.pyplot as plt

# build basis function
d = 4096 // 32
theta = 10000
# Frequency computation
freqs = 1.0 / (theta ** (torch.arange(0, d, 2).float() / d))
# construct basis function
L = 2048
x = torch.arange(0, L)
# basis functions
xfreq = torch.outer(x, freqs)
print(xfreq.shape)
y = torch.randn(x.shape[0])
# do linear regression
X = torch.cat([xfreq.sin(), xfreq.cos()], dim=1)

eps = 1e-5  # small regularization term
# 实现线性回归使得X*coeffs很好的逼近y，最终求解coeffs
coeffs = torch.linalg.solve(X.t() @ X + torch.eye(X.shape[1]) * eps, X.t() @ y)

x2 = torch.arange(0, 2*L)
xfreq2 = torch.outer(x2, freqs)
X2 = torch.cat([xfreq2.sin(), xfreq2.cos()], dim=1)
y2 = X2 @ coeffs

x3 = torch.arange(25, 75, 0.125)
xfreq3 = torch.outer(x3, freqs)
X3 = torch.cat([xfreq3.sin(), xfreq3.cos()], dim=1)
y3 = X3 @ coeffs

plt.figure(figsize=(16, 5))

plt.subplot(1, 3, 1)
plt.plot(x2[:L], y2[:L], "r")
plt.scatter(x, y)
plt.ylabel("attention score $a(s)$")
plt.xlabel("Positional difference $s$")

plt.subplot(1, 3, 2)
plt.plot(x2, y2, "r")
plt.scatter(x, y)
plt.axvline(L, color="k", linestyle="--", linewidth=0.5)
plt.title("Effect of Extrapolation")
plt.xlabel("Positional difference $s$")

plt.subplot(1, 3, 3)
plt.plot(x3, y3, "r")
for i in range(25, 75):
    plt.axvline(i, color="k", linestyle="--", linewidth=0.5)
plt.title("Effect of Interpolation")
plt.xlabel("Positional difference $s$")
plt.savefig('PI.png',dpi=300, bbox_inches='tight')
# plt.show()

SimCSE仅通过简单的dropout mask操作来构造正样本对，并使用in-batch负样本，即在无监督语义匹配上取得不错的效果。在有监督模式下通过引入有标注数据也进一步提升了基线效果 #card

波长的引入

• #card 在某个维度i下，波长被定义为：$\lambda_i=\frac{2 \pi}{\theta_i}=\frac{2 \pi}{b^{-2 i / d}}=2 \pi b^{2 i / d}$ ，因此，有如下结论：

  • 波长可描述为：在维度处嵌入的旋转位置执行全旋转 $2 \pi$ 所需的token长度。

  • 维度越高波长越长。

• 波长描述了维度i处执行全旋转2π所需的token长度 #card
  

• YaRN 和 PI和NTK这种类型的插值方案区别 #card

  • 像PI和NTK这种类型的插值方案不关心波长的维数，可以将其称为“盲”插值方法（blind interpolation），因为它们面对所有RoPE隐藏维度没有做任何针对性的处理。

  • YaRN，可将其归类为“有针对性的”插值方法，即对RoPE的不同维度做出不同处理。

[[NTK-by-parts]]（局部NTK）

YARN

• YARN 在实际使用过程中，为了实现该公式，只需要将m位置和 $n$ 位置的旋转位置嵌入各自缩放为原来的 $1 / \sqrt{t}$ 即可。 #card
  

对称性假设 #card

• 物品A 和物品 B 相似度相同，sim(A,B)=sim(B,A)

• 实际中可能存在 A 到 B（手机到手机壳），但反向关系 B 到 A 未必成立。

• 召回低相关性物品

静态相似性忽略时间变化 #card

• 根据历史数据计算的物品相似度是静态的，长时间保持稳定。

• 物品的热度、用户兴趣会随着时间变化（季节商品、新闻热点）

• 过时推荐

数据稀疏性与头部效应 #card

• 需要物品有足够多交数据，才能计算相似性。

  • 长尾估计不准确

  • 头部偏差，热门物品因交互频繁，可能与多个长尾物品错误关联。

• 热门推荐，牺牲了个性化

x2i 方法 #card

• c2i

• t2i

• i2i

  • swing，相似 item

  • icf

• u2i

u2x 方法 #card

• u2c

  • 类目偏好

• u2t

  • 标签偏好

  • 实体

  • 品牌

• u2i

  • 点击

  • 收藏

  • 购买

• u2u

  • 相似用户

  • 社交关系

Zhe Wang et al. COLD: Towards the Next Generation of Pre-Ranking System. In DLP- KDD, 2020.

模型结构 #card

设计思路 #card

三塔模型的推理 #card

q2i2i：#card

• 获取当前query下曝光、点击、成交的item，进一步通过i2i的方法（协同过滤、swing等）扩召回更多候选商品。

• 同时通过类目限制（要求trigger item和cand item的类目一致）或其他离线相关性度量方法保证召回商品和搜索query的相关性，也可以直接通过query和召回商品的相关性度量保证相关性。

u2i2i：#card

• 通过user历史曝光、点击item，召回更多的候选商品，并通过相关性策略进行不相关商品过滤。

u2s2i：#card

• 召回user偏好的seller下和query相关的商品，作为query的候选商品。

个性化召回相对于文本召回优缺点 #card

• 优势在于不需要精准的term命中即可召回相关的商品，且商品天然具有高点击/成交属性。

• 缺点在于如果相关性把握不好，会引入一些影响搜索体感的badcase。

倒排索引中的索引指的是什么 #card

• term 到 item_id 列表的映射

用户输入搜索query后，系统如何从库中找到命中query词的商品？暴力的方法是先对query进行分词得到每个query的term，而后遍历每个商品信息的每个term词，如果query term在商品信息中全部命中，则召回该商品。这种暴力方法有显而易见的效率问题：#card

• 每次搜索都要有QNL次term匹配计算（Q: query 平均term数，N：商品数，L：商品信息平均term数）。

简单举例来说：假设有三个文档，“Winter is coming.”， “Ours is the fury.” 和 “The choice is yours.”， 经过简单的文本预处理（大小写转换、删除特殊字符、分词等），可以建立起如图所示的“倒排索引”。#card

• 倒排索引是文档term到包含该term文档id的字典，基于字典数据结构的hash机制，可以快速找到包含指定term的文档id集合。

• 可用搜索引擎如基于Lucene库的Elasticsearch

该类特征有两种比较常见的处理方式，

• 一是直接离散化作为模型的输入，#card

  • 如对于文本的词或字进行ID编码即可将其转化为离散特征，并进一步变换为模型可输入数据类型；

• 另一种方式则是先对内容进行隐语义表示，并将隐语义表示作为模型输入。#card

  • 如对于文本，常见的隐语义表示可以通过word-embeding、经过微调的bert等Encoder进行语义向量特征提取；

  • 对于图像亦可以使用常见的图像encoder模型微调后预测得到其向量表示。

[[倒排索引]] 解决暴力匹配的效率问题
+

u2x2i

u2i，向量召回

• 输入user特征和item特征，然后对齐user和item的向量表征

• 通过user的历史序列提取user的向量表征，然后和item的向量对齐

• deepmatch

• mind

  • 多兴趣

    • youtubednn

• 用户行为序列

  • sasrec

• 知识图谱

• DSSM

探索性召回

item

• 热门

  • 整体热门

  • 区域热门

• 时效

• 策略规则类

认知召回

正排召回

向量召回

扩展召回

高销量召回

重查召回

兜底召回

单字召回

[[@搜推算法面试常见问题第七期：搜索召回]]

由于下游排序算力有限，系统无法对所有候选商品进行算分，需要有合适的多路召回融合策略。比较常见的融合思路如：

• 多路召回的候选固定 比例 ，各路根据各自的排序分（如item效率分、q-i匹配分等）截断保留相应数量的候选，返回固定数量的商品送给下游排序。
• 各路召回先合并，使用统一的 单一分数 整体截断（如item粒度的效率分），进而保留固定数量商品，送入排序模块。
• 而对于一些 空结果或少结果 的query，有时是因为库中候选本身就不足，这时可以考虑扩召回的商品沉底追加在原队列最后，可以不影响原来的体感的情况下补充一定数量的商品。

由于搜索一般有比较明确的query意图，因此通常情况下搜索召回的第一目标是相关性。而很多时候通过DSSM架构虽然可以得到语义泛化的特征表达，但也免不了因语义漂移带来的相关性badcase。#card

• 一方面可以在模型侧增加更多的语义特性（如query/item信息拓展、类目信息）或构造更难的样本等；

• 另一方面可以从策略出发，对向量召回做相应限制，常用的如：

  • 限定类目下召回（商品类目在query类目预测集合中）、限定核心term匹配（品牌、型号等关键属性或根据term weighting）、限定向量匹配分阈值等，最终在业务目标和用户体感之间得到平衡。

对于策略覆盖范围，同样有两点：#card

• 1、由于策略很多时候不尽完美，向量匹配模型并不能对所有的query表现的都很好（如样本不均衡问题带来的模型偏置），通常需要进行case分析，总结表现不好的case类型，能优化即优化，优化成本较高的可以选择放弃该类型case的策略覆盖。

• 2、不是所有的query对召回都有相同的需求，如候选结果已经很丰富的query可能需要增加更偏向个性化程度高的商品、而对于本身候选不足或者空结果的query更迫切的是需要补充更多的相关商品候选。从这个维度也可以考虑一些策略上的调整。

向量召回策略变量较多，通过线上效果调整参数成本较高，需要合适的离线评测指标进行策略好坏度量，以加快迭代效率。比较常用的如#card

• Recall@K来度量模型的排序能力；

• 如AUC/GAUC指标来度量策略的点击/成交效率；

• 对于标注有query-item相关程度的样本，还可以使用F1或AUC等指标回归模型的相关性区分能力。

• 不同的离线迭代目标同样需要设计好评测样本，以提升指标的置信度。

垂直送搜索特点

• • 垂搜的⽂档普遍是结构化的，容易根据⽂档属性标签做 检索筛选。#card

  • • 电商：可以限定品牌、卖家、价格、颜⾊。

  • • 学术：可以限定关键词、作者、期刊、年份。

  • • 本地⽣活：可以限定类⽬、商圈、距离。

• • 垂搜⽤户的意图明确。#card

  • • ⼤众点评⽤户搜索“寿司”，⽬的是找寿司餐厅。

  • • 淘宝⽤户搜索“拳击”，⽬的是找拳击相关的商品。

我是射手520

• 楼主，您好。有幸看到您盖的楼，您对历史、政治和经济的研究让我如醍醐灌顶，很多隐约迷惑的东西，似乎有了出路能去寻找答案。万分感谢。

• 说到置业，您对一线二线城市谈的较多，想听听您对类似我们这样城市楼市和经济的看法。我所在的是地级市，离您帖子提到的武汉有500公里。我所在的地市以汽车工业为主导，是三大汽车集团其中之一的发源地，目前是该企业的商用车基地。#card

  • 在全省范围，离省会最远，但是在城市建设、居民生活水平、物价和房价可以排在全省前面，以前分析是因为我们这里是以工业为主，故经济发展比其他以农业为主的地市发展的要好，看了楼主的帖子，感觉跟离武汉最远也有关系。

  • 我们当地最贵房价从05年前2000以内，到09年3000-4000元，到今年的5000元，最贵的6000元。

• 房价的飙升一方面随着全国大环境有关，我分析同时跟当地政府的发展思路密不可分，05年开始引进外地大开发商，新修了很多路，其中跟旧城区主干道平行的最重要的一条路，随着市政府入住，体育馆、美术馆，大开发商进驻，经过5年发展，该路段已经成为我们这里房价最贵的一条路，我们是小城市，在这里买房子的，除了投机成分以外，大部分应该是改善型住房，要大型小区，要绿化，这条路目前房子也是越盖越高。通过建设，当地政府财政也充裕，明显感觉对市政投入也大多了。#card

  • 我们这里养老还是不错的，山多，空气好，工业城市，经济发展也交好。

• 我目前的置业状况是，在老城区广场旁边有单位分高层住宅一套，虽然是塔楼，但在广场旁边，弱化了容积率高，当年放弃了单位地段相对没这个中心，总价低的多层住宅，就是看中了地段，这个投资较成功，按照现在市价，房屋总价基本翻番，该房屋目前由父母住。#card

  • 08年底，在开始说的新地段够买一套房屋，120平米，多层住宅，周边政府规划为大学城，周边有两所大专院校，对于该房屋地段较为满意，虽然比不上新修的路的北边和中部靠近体育馆，靠近政府地段升值快，但较看好该地段前景，该地段新修了 一条连接老城区的通道，唯一不太满意是购买的顶楼，因为是购买的该小区的多层住宅没有电梯，如果有了孩子，住顶楼生活就不太方便。购入均价2900，目前周边的新盘均价4500元，该楼盘创造了摇号去选房的记录。该套房屋自住，当年购买房屋没有多贷款一步到位，现在如果想换个满意的难度就大的多，满意的房屋都5000往上了。这套房屋有15万左右的贷款。

  • 虽然很看好武汉的楼盘，远远现阶段大于经济承受能力，目前放弃。

• 对于我们当地的楼盘，也超出了我们这种普通人的能力，虽然最近楼盘都卖的很火。#card

  • 好在单位公积金较多，我打算收复30%，剩下用公积金贷款，再购置一套房屋，怕再过一段时间，我的改善型需求就满足不了。

  • 前一段时间，有个机会，但是考虑按照目前房价，30%首复，要耗尽目前自己和家人积蓄，犹豫中，错过了机会。

  • 目前这种状况，不知道是否该再次买房？

• 再次买房考虑标准时什么？我不太喜欢高层，但是原中心城区，没有大盘，都是单位或者小开发商盖的，基本没有绿化，在中心城区边上也有了一套高层住宅。#card

  • 考虑学位房？我们城市不大，目前这套中心城区房屋虽然没有画片在最好的小学中学，但是离这些学校距离比较近。

  • 在靠近那条政府搬入的路的北边靠近体育馆、美术馆（同时也靠近两所重点高中）地方置业，那里房价已经5000多，年底开盘的都是30层以上的高层，自住又不太考虑高层，总价也超出了承受范围。

  • 在当地，离那个大企业居住地，区政府也新开了一条路，那条路待开发状态，据说区政府要搬过去（要搬也是2年以后，现在那条路只有一个大开发商在开发），那条路开车到市中心20分钟，那次有机会买的就是那个大开发商的楼盘，主推多层住宅并且带电梯，去年就预售完毕，这次犹豫中，错过了，住宅品质较好，目前地段太偏。

  • 如果再有机会，该如何选择呢？

kkndme 地级市选房是比较麻烦的，因为投资风险要大于一线城市和省会城市。#card

• 地级市的购房需求，主要是以改善性需求为主，追求的是大盘，低密度，低楼层，高绿化，最好有个江景或者水景，环境优美的别墅是首选。

• 因为低级市城市较小，绝对的城中心如果环境比较嘈杂，小区不够高档最好不要选择。没有实力购置别墅，可以选择环境优美的高端住宅，最好是品牌大盘，一眼能够让人赏心悦目。

• 流程 #incremental #card

  • 明确业务目标

  • 将业务目标转化为机器学习可优化目标

  • 样本收集

  • 特征工程

  • 模型选择和训练

  • 离线评测验证

  • 在线AB验证

  • 通过离线验证和在线AB的结果反馈到2，形成一个增强回路慢慢起飞

用户角度：#card
+

• 克服信息过载，推荐系统在信息过载的情况下，用户如何高效获得感兴趣信息的问题

公司角度：#card

• 推荐系统解决产品能够最大限度地吸引用户、留存用户、增加用户粘性、提高用户转化率的问题，从而达到公司商业目标连续增长的目的。

特征缩放

• Log-based#card

  • 针对幂律分布的特征(少量热门视频播放次数高)

• [[Normalization]] 和 [[Regularization]]#card

  • 标准化将样本属性值缩放到指定的范围

    • 针对属性

  • 正则化将样本的某个范数缩放到单位1

    • 正对样本

• Robust Scaling#card

  • 解决其他特征变换方法把特征值压缩到一个非常狭窄的空间，失去特征区分度

  • $$x_{\text {scaled }}=\frac{x-\operatorname{median}(x)}{\operatorname{IQR}}$$

  • IQR 四分位距，确定第三四分位和第一四分位的差值

特征分桶

• 为什么？

  • {{embed 数值特征离散化分桶
    }}

  • 引入非线性

  • 增强可解释性

  • 对异常值不敏感，防止过拟合

  • 分桶后可以对不同的桶做进一步的统计和组合

• 方法

  • 无监督分桶#card

    • 固定宽度(等宽)

    • 分位数(等距)

    • 对数转换并取整

  • 有监督#card

    • 卡方

    • 决策树 [[GBDT+LR]]

缺失量较大直接删除特征

少量缺失值处理常用方法 #card

• 自适应层

  • 缺失值用 w1

  • 如果不是缺失值用 w2*x

• 均值插补

• 同类均值插补

• 建模预测，使用模型对缺失值进行预测

• 高维映射

• 多重插补

• 压缩感知及矩阵补全

对于数值异常，可以使用箱线图观察分析，#card

• 如个别样本特征出现极大值或极小值，可以采用最简单的均值、中位数等填充，

• 或者在数据量级不大的情况下，直接删除存在异常特征的样本。

基于文本的召回可以提供简单的基线，但由于召回要求term精准命中，常常会出现 召回能力不足 的问题，因此通常要配合以扩召回策略
常见的扩召回（基于文本）通常从两个维度出发：

• query侧的扩召回 :-> 最常见的是改写，该部分在query理解章节已经做了简单介绍，这里不再赘述。
• 物料侧的扩召回通常是 #card

  • 扩充召回字段，如增加商品详细描述、商品品类、属性等基础文本字段，

  • 或通过相似商品的基础文本信息作为本商品的扩充索引字段。

时间特征通常情况下是比较重要的特征，该类特征可以构造为#card

• 数值类型，如页面停留时长、距离上次曝光/点击时间等；

• 亦可以为离散特征形式，如年份、月份、星期、小时点、节假日等

方面，绝大多的模型都不能保证能够完美挖掘出基础特征所蕴含的所有信息，#card

• 即模型存在精度问题，在数据量不足，特殊场景等情况下更是如此。手动的人工特征设计可以借助人的专业经验减轻模型学习负担，使模型收敛更快更好，更轻松的取得更好的结果。

另一方面，无脑将想到的特征灌给模型，无疑会增加模型的大小，其中可能会有很大一部分参数并没有很大的贡献，#card

• 对线上inference速度要求较高或是资源有限的场景的影响尤为重要。

特征工程的第一步是要找到对模型预测有用的特征，最常用的方式是基于经验分维度梳理，#card

• 如电商领域第一层可以按场景元素分成User特征、Item特征、Seller特征、Query特征、上下文特征等，

• 第二层可以按特征类型分成如类别特征、统计特征、语义特征、画像特征、时间特征、空间特征等。

• 此外，基于已有特征还可以进一步构造组合特征，对于一些重要的特征可以优化为实时特征。

选择特征的过程也要考虑特征是否可以 取到 ，以及该特征在线上是否能够 及时获取

x 轴覆盖度，y 轴刻画能力#card

• 1 完美特征(一般量少)

• 2 ID Combination 记忆

• 3 弱特征

• 4 泛化低纬度特征

过滤法#card

• 直接通过统计方法计算单特征和目标label的相关性，并选择topk，或通过卡阈值过滤掉一定数量的特征。

• 常见的特征相关性可以使用皮尔逊相关系数、卡方检验等方式度量。

迭代法通过迭代的方式进行特征选择，#card

• 如预先使用所有的特征训练LR模型，接着丢弃5%～10%的弱特征（对应权重低的特征），如此反复直到评价指标下降明显，剩下的特征则保留。

模型选择方法也比较直觉，#card

• 使用L1正则训练LR模型，如剔除权重为0的特征；或者训练LR模型，使用单特征输入计算单特征AUC衡量特征重要性；亦或者使用树模型进行自动特征工程，同样也是特征选择的一种，如经典的GBDT、GBDT+LR。

可以考虑维度 #card

• count:A_COUNT、B_COUNT、A_B_COUNT
  nunique: A_nunqiue_B (按B对称的下文省略)
  ratio: A_B_COUNT/A_COUNT 在A里各个B类所占的比例
  average:A_COUNT/A_nunqiue_B A里各个B类的平均数
  most: A_most_B 在A类里出现最高的B是哪个
  pivot: A_B1_count、A_B2_count A和B类里特定的B1、B2的联合统计
  pivot2: A_B1_count-A_B2_count A的B1行为和B2行为的加减乘除
  stat1: A_stat_A_B_COUNT 基于A_B_COUNT对A的描述，
  stat2 ：A_stat_B_COUNT 基于B_COUNT对A的描述,
  序列化：初步LDA，NMF，SVD，进一步Word2Vec，doc2vec 再进一步 图神经网络deepwalk，pPRoNE

特征编码#card

• 特征二元化

• one-hot

• [[离散化]]

  • 是否选择

    • 海量离散特征 + 简单模型

    • 少量连续特征 + 复杂模型

  • 分桶

  • 特性

类别特征处理

• 特征交叉

  • 手动构造二阶或三阶交叉特征#card

    • dnn 隐式交叉弱，不能很好拟合多项式交叉 pattern

    • 内积式交叉只能实现二阶

    • 外积式交叉的层数有限

  • 内积交叉#card

    • [[DeepFM]] [[IPNN]] [[DLRM]]

    • 将特征映射到相同的高维空间，通过内积计算特征之间的相似度达到交叉的效果

    • 缺点

      • 不同类型的向量映射到同一个特征空间，与 [[FFM]] 思想相悖

      • 不同类型特征的维度是相同的

  • 外积交叉#card

    • [[DCN]] [[@xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems]] [[OPNN]]

    • 表达能力比内积强

    • 不同 embedding size 的向量都能支持交叉

    • 缺点

      • 交叉项过多，样本不足容易造成过拟合

      • 计算复杂度高

• 分桶#card

  • 基于业务理解自定义分桶规则

    • 城市分成华东区、华南区

  • 基于特征的频次合并低频长尾部分

  • 决策树模型

• 统计编码#card

  • count encoding

    • 统计该类别不同行为类型、不同时间周期内的发生频次

  • Target encoding [[目标编码]]

  • Odds Ratio

  • weight of evidence

• 特征哈希 Hash Trick #card

  • 避免维护映射表的麻烦

1）商品覆盖时效性，#card

• 因为很多时候商品候选规模在上亿级别，而粗排商品向量对特征变化敏感，回刷频率较高，甚至天级别的全库回刷。

• 除了工程链路上的优化提效，策略上还可以考虑只对增量和特征有变化商品进行特征向量预测；

• 另外还可以缩小策略覆盖范围，或只对特定圈定商品生效该粗排策略等。

2）query-user向量塔和item向量塔模型一致性问题，#card

• 由于双塔模型很多情况下需要频繁训练进行参数更新，在部署过程中可能会遇到query-user向量是版本A模型，而item侧向量是版本B模型的情况。

• 针对这个问题，一方面可以从工程侧进行模型同步控制进行解决。而在工程架构不能很好支持的情况下，也可以选择在夜晚进行模型更新，降低模型不一致带来的负面影响；

• 再次一点，可以选择减小模型更新频率，如日更改为周更。而减小更新频率也会损失一定的模型效果，一方面由于低频率更新需要考虑减少使用ID类型特征，以免过度依赖模型的记忆性，另一方面也是因为模型会损失增量更新带来的泛化能力。

粗排训练样本选择最简单的可以复用精排模型的样本，#card

• 一方面复用链路节省资源，

• 另一方面方便与精排特征对齐，维护简单以及便于联合优化；

然而如上提到的，粗排和精排样本的打分空间分布并不一致，直接使用精排样本训练粗排模型，将会使得粗排模型对于大量少曝光的样本打分存在偏差。#card

• 常见的缓解方法可以尝试增加随机样本做负样本（或者同类目等限制下随机负采样增加样本难度）；

另一种思路则是使粗排尽可能推荐精排偏好的商品，具体实现可以将精排排序topN的样本作为正样本，其他为负样本等方法，#card

• 此外精排模型蒸馏也可以理解为该思路的一种实现方式。

• 样本选择空间偏差问题解的决方法不止如此，且无标准答案，很多时候还是需要不断实验改进，才能找到适合自己场景的样本选择方法。

粗排模型的评估可以参考精排使用AUC作为模型打分能力的判断标准，而由于样本选择偏差等问题，使得AUC有时也不能完全指导粗排模型优化。

另一种可以参考的评估指标是粗排topN和对应精排topN的HitRate，对应HitRate越高，则粗排的排序能力可以看作越接近精排

技术点#card

• 1、精排模型，主要介绍其演进脉络及各类型模型特点；

• 2、精排阶段的几个关键点的讨论，包括精排训练数据选择、特征工程、模型评估、分数融合、大模型的lifelong learning、deBais、实时化、工程链路等。

商品结构化信息包括类目、属性等，属性有多个维度如品牌、型号、尺寸、适用性别年龄等。除了直接使用文本索引召回，同样可以直接通过结构化id索引召回。#card

• 结构化召回通常需要query和item端的同步优化，query侧需要识别出其目标的类目或属性ID，商品侧同样建立相应的ID索引，该方法除了应用到基础召回，通常还用在搜索导航功能，如根据层级类目导购、根据属性进行细选等。

统计类特征通常为对用户行为、商品表现等维度的统计值，一般情况可根据情况作为 离散特征或数值型特 征进行变换处理。

举个例子，工程实现上，对于LR模型，其权重参数往往以稀疏存储的kv方式进行持久化，新特征权重可以以kv插入的方式动态增加，而不是事先确定好特征的数量。#card

• 因此，新的特征（如新item_id、price值）对应的权重数量不断增加，模型大小也同样不断增加（大的时候会达到T级别）。

实现这个目标有几种常见的思路：#card

• 1、减少排序候选，使用计算复杂度更高的模型，如使用长序列建模，复杂网络结构的排序建模等；

• 2、增加链路实效性，如模型实时（online learning）[1]、特征实时等；

• 3、多目标ensemble，手拍权重，或自动学习多个目标(CTR/CVR等)权重，如[2]使用贝叶斯优化方法进行在线超参数学习。此外还有个性化权重学习，如以点击或成交为目标，使得不同用户或搜索词ensemble权重不一。

文本向量表征的模型（函数）不同的结构

• DSSM 全连接网络表征 #card

  • 输入的query和doc首先用词哈希的方法被表示成triple-gram的词袋向量（multi-hot向量，向量大小为词典大小，词出现的位置为1，没出现的位置为0）。

  • 而后接入多层全连接网络，全连接输出query和doc的语义表征向量，并使用cosine相似度来度量二者的匹配分。

  • 最后通过最小化Loss（Pairwise loss、Triple loss、InfoNCE等）使得query和doc的正样本对距离近，负样本对距离相对远

• 基于卷积网络

  • CDSSM [2]使用滑动窗口来提取模型输入的n-gram信息，如滑动窗口为3的时候，对每个词都会提取出一个triple-gram表示向量（multi-hot向量），并将所有词的向量拼接得到整个句子的特征输入。#card
    • 而后再经过多层常规的卷积和池化操作，分别得到query和doc的语义表示向量，进而优化正负样本对的距离远近。

+ 在word embedding技术流行之后，基于卷积的DSSM往往会先将各个词映射成embedding 矩阵，进而对embedding矩阵做多核的卷积池化操作，进一步提升了文本表征的效果 #card

• 基于循环神经网络

  • LSTM-DSSM[4]。其结构与经典的DSSM一致，不同在于使用LSTM为encoder提取输入的文本特征。 #card
    

• 基于BERT

  • Sentence-BERT #card
    

特征

• 特征增强#card

  • 特征或者数据的增强可以在数据有限的情况下，通过一些简单的变换操作起到变相扩充样本的作用，进而提升文本特征输入的丰富度。同样，即使有足够的数据，特征/数据增强很多时候也能进一步提升模型的鲁棒性。

  • [[NLP 数据增强方法]]

• 特征融合可以分为两条思路：

  • 特征内部：#card

    • 通过字、词、短语多粒度特征分别建模，而后进行融合来增加特征的丰富度；也可通过字、词、短语分层表示的方式融合多粒度的特征，如ELMO[8]是典型的考虑上下文特征的字、词、短语层级表示结构。

  • 补充特征：#card

    • 除了基础文本特征外，电商场景下有十分的方式补充特征，如融入电商知识（query和商品类目、属性关系等信息）；通过行为数据挖掘相同语义的query，对当前query进行信息补充，以缓解短文本信息不足的问题等等。

• 多模态特征

  • [[FashionBert]]

数据

• 参考 ### 训练数据

在向量模型中引入个性化，比较直觉的思路是#card

• 在模型中引入个性化特征（如性别、地域、购买力、活跃度、商品销售热度等），

• 或者从训练数据构造上入手（如将数据构造成高成交效率&高相关、相关、不相关三类），

• 亦或者通过网络结构或策略上的设计（如引入多任务机制等）

QR hashing (Shi et al., 2019) offers a solution by decomposing large matrices into smaller ones using quotient and remainder techniques while preserving embedding uniqueness across IDs. 通过使用商数和余数技术将大矩阵分解为较小的矩阵，同时保持不同 ID 嵌入的唯一性 #card

• 减少 embedding 词表大小和通过MurmurHash 这样的抗冲突哈希函数消除词表维护需求

Example of non static vocab hashing paradigm #card

本页面灵感来自 ChangeLog of Me | cf020031308.github.io ！

[[2025/04]]

[[2024/12]]

• [[2024 读论文目录]]

• [[2024 读书目录]]

• [[动态定价]]

• [[因果推断]]

• [[时间序列专题学习]]

• [[@Pattern recognition and machine learning]]

  • 参考 up 主淡蓝小点 B 站视频 和笔记 [[@PRML Note 前十一章]]

[[2024/01]]

• [[Life Log]]

[[2023/12]]

• [[观者进阶]]

[[2023/11]]

• [[Raycast]] MacOS 启动器，替代 [[Alfred]]

• 机器学习应补充哪些数学基础？ - 知乎 (zhihu.com)

[[2023/10]]

• [[YJango@学习观]]

[[2023/08]]

• [[embedding 如何优化]]

• [[Optimization]]

  • [[Adam]] [[AdamW]] [[LazyAdam]]

[[2023/07]]

• “追星”Transformer（五）：Transformer的三个小细节——LayerNorm、Teacher Forcing与Beam Search - 知乎 (zhihu.com)

  • [[Teacher Forcing]]

  • [[Beam Search]]

• [[集成学习]]

  • [[stacking]]

• [[Spark]]

  • [[RDD]]

  • [[RDD 持久化]]

  • [[Pair RDD]]

  • [[Spark Operator]]

  • [[repartition 和 coalesce 对比]]

• [[卷积和注意力区别]]

• [[Tensorflow Baisc]]

• [[可解释性]]

  • [[Shapley Value]]

• [[1D Conv]]

• [[Separable Convolution]] 可分离卷积

• [[interval forecasting]] 区间预测

[[2023/03]]

• [[@Interpreting Trajectories from Multiple Views: A Hierarchical Self-Attention Network for Estimating the Time of Arrival]]

• [[YJango@万字科普ChatGPT-4为什么会颠覆人类社会]]

[[2023/02]]

• [[Position Encoding]]

• [[BN 和 LN]]

• [[@DeeprETA: An ETA Post-processing System at Scale]] Uber 基于深度学习的 ETA 系统设计

[[2022/12]]

• [[@翦商：殷周之变与华夏新生]] 历史小说，讲得是夏商周的历史。上古史的参考文献很少，作者亮点在于结合这几十年的考古成果（二里头、殷墟、周原等等）进行创造。翦商出自诗经「后稷之孙，实维太王，居岐之阳，实始翦商。」，意思是周灭商。为什么周要消灭商？商代遗址挖掘发现和甲骨文破译，商人生活中使用大量的人牲进行祭祀（比如房屋用人奠基，墓葬用人陪葬……），而且随着时间推移，祭祀规模越来越大，手段越来越残酷。作者推测周族可能长时间从事给商人捕捉祭祀用的人牲工作，随着周文王被拘和伯邑考被杀，周商矛盾激化，周武王开始伐商。周公旦在武王驾崩后，辅佐成王，创建礼乐制度。后世流传的文献没有直接记录商朝活人祭祀，可能是周公毁掉相关的档案，改写历史。

[[2022/11]]

• [[简悦和 Logseq 联动]]

• 当前使用[[词典]]

  • Oxford Essential Dictionary

  • Collins Cobuild Essential English Dictionary

  • Collins Cobuild Intermediate Learner’s Dictionary

  • OALD4双解切换2022秋季版

  • Oxford Advanced Learner’s Dictionary 10th

• [[Word2Vec]]

• [[SGD]]

  • [[@Adam: A Method for Stochastic Optimization]]

• [[@Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting]] 清华 [[NeurIPS/2021]]

• [[@Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting]]

• [[@一点微小的 OneNote 使用经验]]

[[2022/10]]

• 日常摘录 [[2022week41]]、[[2022week42]]

• [[Positional Encoding]]

  • [[Positional Encoding/Sinusoidal]]

• [[@Transformers in Time Series: A Survey]] 阿里达摩院关于 [[Transformer]] 在[[时间序列预测]]应用的综述

  • [[@Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting]] 北航 AAAI 2021 best paper，长时间序列预测任务引入 transformer。根据 attention score 的长尾分布，设计 probsparse self-attention 减少 query 和 key 计算量。然后使用 self-attention distilling 减少多层 attention 结构的内存开销。decoder 模块改成 generative style 预测方法，加快预测速度。

• [[@FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction]]

• [[@中国未来20年的经济大趋势 旧]]

• [[@天空之城：拉马努金式思维训练法]]

• [[how to read a book]]

  • [[@到底要如何有效读书呢 - 2021年读书计划， 最多只读50本]]

  • [[@Reading Better: Retaining and Applying What You Read]] #[[Farnam Street]]

  • [[@读书是否是唯一重要的事？]]

  • [[@如何阅读一本书]]

• [[how to read a paper]]

  • [[知识管理带动文献阅读]]

  • [[戴晓天论文笔记模板]]

• [[@Distilling the Knowledge in a Neural Network]]

• [[@Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction]]

• [[@Applying Deep Learning To Airbnb Search]]

[[2022/09]]

• 日常摘录 [[2022week40]]

• [[Python/Decorator]] 装饰器

• [[Stop Taking Regular Notes Use a Zettelkasten Instead]]，[[Eugene Yan]] 介绍如何用 Zettelkasten 笔记法学习机器学习知识

• [[@Order Fulfillment Cycle Time Estimation for On-Demand Food Delivery]] 饿了么配送 ETA

  • [[Box-Cox Transformation]]

  • [[Log-Normal Distribution]]

• [[Soren Bjornstad]]

  • [[Effective Flashcard Writing: Decomposing half a chapter of Thinking, Fast and Slow]] 以读[[思考快与慢]]为例，介绍如何制作记忆卡片

  • [[@A Tour Through My Zettelkasten]] 介绍如何使用 tiddlywiki 构建一个卡片管理系统

  • [[Spaced Repetition Forget about forgetting]] 介绍间隔重复背后的原理、 Anki 和 Remnote 的实践经验

• [[杀戮尖塔]]

• [[时序特征]]

• [[FM]] [[AFM]] [[FFM]] [[@FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction]] [[NFM]]

  • 优化算法 [[FTRL]]

• [[GBDT]] [[XGBoost]] [[LightGBM]]

  • [[DART]] 基于 dropout 思想的提升树方法

• [[Transformer]]

  • [[Attention]] [[self-attention]]

[[2022/08]]

• [[序数回归]] 考虑类别间关系的分类算法

• [[@Applying Deep Learning To Airbnb Search]] Airbnb 搜索推荐从 GBDT 迁移到深度学习的尝试记录

• [[STGCN]] 时空图卷积网络：用于交通预测的深度学习框架

• [[从加减乘除到机器学习]] 机器学习相关的数学书

  • [[从加减乘除到机器学习/数学要素]]

  • [[从加减乘除到机器学习/矩阵力量]]

    • [[矩阵]]

• [[福格行为模型]]

• [[how to read a book]] 收集的读书方法汇总

[[2022/07]]

• [[Life Long Learning]] 根据李宏毅课程整理的增量学习相关笔记

• [[Multi-Task Learning]]

• [[@置身事内：中国政府与经济发展]]

• [[杀戮尖塔]]

• [[GNN]]

[[2022/01]]

• [[沸腾新十年]]

• [[Momentum Contrast for Unsupervised Visual Representation Learning]]

• [[MacOS]]

• [[Logseq]]

• [[竞赛性编程]]

[[2021/12]]

• Note

  • [[巨人术]] 两费技能好难受

  • [[OKR]]

  • [[笔记软件]]

  • [[iPad]] 买来看论文（虽然没有这个习惯……），思考如何在日常生活中使用。

• Paper

  • [[An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale]] Transformer 在 CV 领域应用

• [[@我的二本学生]] 这本书是作者和学生交流十多年后完成的，整体上按时间顺序给你讲一个又一个人的故事。除了故事之外，也没有给出更多具体的结论。

  • 影响学生的发展大概有下面这三个方面：

    • 1. 原生家庭，个体很难超越阶级，少部分学生能得到家庭的支持。
    • 2. 时代命运，从 06 年的学生到 15 年的学生，心态的差异很大一部分是房价带来的。另外，房价也改变很多学生家长的命运。
    • 3. 个人努力，毕业前有没有自己的目标以及毕业后能不能和自己和解？可惜没有分析学生就读的专业是不是市场所需要的？

  • 最后，读完本书其实不应该感到悲观，书中所写和社会上所说，都是这个群体如何。事实上统计学不对个体负责，还是有机会的

[[2021/11]]

• [[服务器]]：购入一台腾讯云 2核4G8M 轻量应用服务器。使用宝塔面板管理，实在是太方便了。已经部署 [[Bitwarden]] 密码管理服务以及 [[WordPress]] 博客……

• Note

  • [[任务术]] 狂野已无「恶魔之钟」，整理一下之前记录的笔记。

  • [[宇宙偶数术]] 10 月上传说卡组，T1 强度，内战靠贪！

  • 先从 [[铁甲战士 开始练习

  • [[生命平衡轮]]

  • [[YJango@学习观]] 很早就收藏的视频，但是一直没有时间看。大概是从机器学习、认知科学角度解释学习，值得仔细看看。

• Book

  • [[沸腾新十年]]

• Paper

  • [[BERT]]

  • [[Masked Autoencoders Are Scalable Vision Learners]]

• People

  • [[chyixian]] 文科博士在读，少数派中分享过几篇和阅读相关的文章

  • [[润Rhuen]] 豆瓣网友，最近在申请博士，每月分享月记。

[[2021/10]]：忙着述职，基本上没有整理什么

• Game

  • [[佣兵战纪]] 又肝又氪，冲了 200 多连一个火焰队或自然队都没有开出来，pve 快速推图都做不到……弃坑

  • [[杀戮尖塔]] 卡牌 Rogue 游戏，比佣兵战纪不知道好玩多少倍！

• Book

  • [[创新者]]

[[2021/09]]

• Note

  • [[宝宝术]] 想不到暴雪这些零费随从都能进构筑，胡的时候还挺强的。

  • [[鬼灵贼]] 练习这种卡组，然后被砍了是不是很伤？

  • [[心火牧]] 一拳超人

  • [[并查集]]

  • [[Life Audit]]

  • [[Beancount]]

  • [[万智牌]]

• Book

  • [[平面国]]

  • [[哲学的故事]]

[[2021/08]]

• Note

  • [[password]]

  • [[图论]] 可能只会写一手最短路…

  • [[Things 3]] 印象里面主流的 todo App 就这个没有尝试过，现在正需要一个简单清单软件。重新思考[[任务管理]]。

  • [[炉石传说]] 这游戏也挺氪的

    • [[任务术]] 马术，7 年老玩家第一次上传说！

• Paper

  • [[Privileged Features Distillation at Taobao Recommendations]]：阿里巴巴优势特征蒸馏

  • [[@Distilling the Knowledge in a Neural Network]]

• Book

  • [[蛤蟆先生去看心理医生]]

• Another

  • [[刘汉臣之死]]：听完[[故事 FM]] 阎鹤祥的专集后，特地补一下这段说书。

[[2021/07]]

• Paper

  • [[Beyond Efficient Transformer for Long Sequence Time-Series Forecasting]]

• Book

  • [[@苏格拉底之死]]

  • [[哲学家们都干了些什么]]：有关形而上学、科学与人生的意义的讨论。

• Note

  • [[VS Code]]

  • [[git]]

  • [[中概互联ETF]]

[[2021/03]]

• Note

  • 20210307 [[数字坟墓]]

  • 20210308 [[OKR]]

  • 20210310 [[OKR 实践]]

  • 20210321 [[Zettelkasten 编码]]

[[2021/01]]

• paper

  • (2020) Value-driven Hindsight Modelling：使用未来信息指导模型训练

• book

  • [[@禅与摩托车维修艺术]]

• blog

  • 合并「博客折腾记：使用 Travis CI 自动部署」到博客折腾记：使用 Travis CI 自动部署博客 | 算法花园 (xiang578.com)

  • 新年新气象！使用木子修改的 hexo-themes-next 主题。

[[2020/05]]

• [[@呼吸]] 这是一本由 Byte.Coffee 主播 MilkShake 🐑推荐的一本科幻小说集（前几天看其他东西的时候学会科幻小说的英文 sci-fi）。之前看到过，小说的价值在于作者用一个故事告诉你一个道理。最喜欢的是《商人和炼金术士之门》这篇：在传统的穿越小说无法改变未来和过去的基础上，论证穿越能更深刻理解生活。书中其他探讨的几个问题也很有价值，值得一读。

在广告场景下，cvr 模型是这个问题的典型例子，因为转化是有延迟的，即在点击发生后过一段时间用户可能才会发生转化，且往往转化漏斗越深，延迟的时间越长

• 这时候有两种选择，#card

  • 一种是等待事件的 label 完全回流再进行训练，比如说事件的真实 label 能在一天内完全回流，做天级训练即可，但是这不符合上面提到的 “及时” 的原则；

  • 另一种则是实时把数据送入模型做 online training，但是这不符合上面提到的 “准确” 的原则，因为有些 label 可能还没回流。而实际上，实时性和准确性也是一个 trade-off 的关系。

Delayed FeedBack In Computational Advertising | 吴良超的学习笔记 (wulc.me) 如何解决 label 回传不及时，样本无偏#card

• 基本都是解决在 online-training 模式下如何解决 label 回传不及时的问题，如利用 importance sampling 等方法对样本做加权，或者让样本多次进模型，然后从统计意义推导出新的概率表达，从而保证样本是无偏的。

品牌广告往往是一个广告系统发展初期的广告模式，基本流程是广告主先付钱，平台保证曝光，如 cpt，gd 就是典型的品牌广告，前者没什么好说的，固定的广告位在特定位置强出就好了；后者则一般会涉及到库存预估和库存分配两个问题#card

• 库存预估：gd 承诺的是未来的曝光量，因此需要保证当前售卖的库存不能超过未来的曝光量；一般可以通过时序预估模型来进行预估

• 库存分配：将库存和 gd 计划作为 supply side 和 demand side 构造二部图，然后通过分配算法进行分配，常见的分配算法有 HWM 和 SHALE

上面的做法只是在解决 gd 广告的保量问题，但是随着优化的精细化，除了保量，还需要考虑一些其他问题，如#card

• gd 广告和效果广告往往存在竞争关系 (因为曝光的机会是共享且数量是基本固定的), 需要联合效果广告建模使得利益最大化
  gd 广告除了保量，往往客户也会提出效果的要求，否则平台可以把低质流量直接给到 gd 计划；因此，从建模上这成了一个多约束的优化问题

如果额外考虑以上这两点，#card

• 上面传统的分配算法就有点问题了，首先库存预估出来的量往往是总体的曝光量，gd 能占用其中多少的量需要拍一个数，或者根据 cpm 分配；

• 其次，上面分配算法是直接把这个曝光给这个 gd 广告的，不会判断质量的好坏，但我们实际是不希望把太差的量给广告主的，同时也不能对竞价有过多的挤压，

• 因此需要判断流量对于 gd 计划的质量，需要为 gd 计划考虑一种更加灵活的拿量方法。

综上， gd 广告 需要考虑保量、效果、溢价率以及对效果广告的挤压，因此建模时也需要把这些因素考虑进去。

[[@推荐系统技术演进趋势：从召回到排序再到重排]] 召回应该去适配精排 #card

• 如果在召回阶段使用模型召回，理论上也应该同步采用和排序模型相同的优化目标，尤其是如果排序阶段采用多目标优化的情况下，召回模型也应该对应采取相同的多目标优化。同理，如果整个流程中包含粗排模块，粗排也应该采用和精排相同的多目标优化，几个环节优化目标应保持一致。因为召回和粗排是精排的前置环节，否则，如果优化目标不一致，很可能会出现高质量精排目标，在前置环节就被过滤掉的可能，影响整体效果

[[@Embedding-based Retrieval in Facebook Search]] 精排适配新的召回 #card

• since the current ranking stages are designed for existing retrieval scenarios, this could result in new results returned from embedding based retrieval to be ranked sub-optimally by the existing rankers

• 新的 ANN 召回的结果可能并不会被精排认可

起量

• 广告投放不起量都是怎么解决的？ - 知乎

  • 优化素材、放开定向、提高出价 & 预算、堆计划等。

• 那么从媒体 / 平台侧的角度来说，有什么手段去缓解广告主起量难的问题么？#card
  +

  • 一般来说，起量难的问题会随着广告候选变多而愈发严峻，而这也可以从 E&E 的角度去解读，因为在 dau 基本稳定的情况下，媒体展示广告的次数是有限的，如果让更多的新计划得到展示机会，势必会挤压老计划，而且新计划起量后，后续能否持续跑量也是个问题，属于 explore 的部分。

  • 因此，一个朴素的思想是固定一些 explore 的 quota，专门用于处于起量阶段的计划，相当于给这些起量阶段的计划开的绿色通道；有了绿色通道后，需要考虑的第二个问题是：哪些计划能通过这些绿色通道？每个计划都给同等的机会显然不是最优的，因为不同计划起量后的表现不一样，因此一种更合理的做法是建模判断这些计划在起量后的表现能力，然后根据表现能力决定计划是否能进绿色通道，同时还需要考虑那些堆计划的 case，避免对相同或只做了微小改动的计划重复进入绿色通道，给更多广告主以探索的机会。

成本

• 大部分客户投放广告关注的是其 roi（品牌广告其实也可以认为追求的是长期的 roi），而近年各个媒体平台上也出现了各种 roi 类的产品，但是 roi 类的产品要求广告主把付费金额等敏感数据回传，因此大范围推广还需要时间；#card

  • 当前使用更多的是成本类产品，即认为广告主出价是 truthful bidding 的，可以将广告主的出价作为成本，投放过程中尽量让实际成本贴近广告主填的出价。

• 由于当前的广告系统都是基于 ecpm 排序和扣费的，因此构成 ecpm 的几个元素 (bid, ctr, cvr) 的值必须要准确，才能保证成本不会过高 (广告主亏) 或过低 (媒体亏)

  • 首先需要重点关注的是 ctr、cvr 预估的准确性，而这个问题的难点在于能拿到的训练数据的 label 是 0 和 1 (代表是否点击 / 转化)，但是实际中需要预估的是一个 rate，而这导致了没有一个绝对准确的 ground truth，退化成只能通过训练来逼近训练样本中的正负样本的比例，这也是为什么改变了训练样本的分布需要在 loss function 或预估值上做纠偏。另外，从概率论出发，大数定律告诉我们：当样本数量越多，则其算术平均值就有越高的概率接近期望值，但问题是很多计划的的 click、convert 数量非常少，所以训练也没法很好的学习出各个计划的期望 cvr。#card
    +

    • 因此，面对这么一个没有绝对 ground truth，同时大数定律也不完全适用的而带来的预估偏差的问题，需要有额外的策略来应对，最常见的就是上面提到的保序回归，这个也是基于后验数据的统计对预估值做 calibration，因此也需要考虑纠偏粒度上的后验数据是否过少的问题。

  • 另一个关键因素就是出价了，如果预估完全准确的情况下，按照广告主给定的出价来投放是最优的，但这显然是不太可能，因此#card

    • 才有了控制器不断地调价来控制成本，满足保成本的诉求，可以认为出价是预估不准的兜底策略。

冷启动

• 无论是在广告还是推荐，冷启动都是一个长期存在的问题，其原因是新用户 / 计划缺少历史数据，模型 / 策略对其学习不够充分，从而效果表现得很差；而在广告场景中，新计划比起新用户的冷启动往往是更常见且严峻的，因为对于成熟的媒体而言，dau/mau 等基本都是稳定的，但广告主会不断地新建计划。#card

  • 冷启动往往会加剧上面提到的各类问题，如在模型上，预估值的准确性更难保证；在出价上，成本更难控制等；而针对冷启动的问题，往往也会从两个方面去优化，即模型和策略。

• 在模型上，有不少针对冷启动的 paper，且基本都是针对 nn 这一类 embedding-based 的模型，其基本思路都是让冷启动 item 的 embedding 贴近 warm-up 阶段的状态，笔者将这类方法归纳成两类

  • (1) 利用 meta-network 为冷启动的 item 生成一个 id embedding#card

    • 第一种方法的基本思想是利用 item 的 meta 信息 (即使冷启动 item 也有) 通过一个小网络 (即 mata-network) 生成 embeddding，然后增加一些 auxiliary task 来训练这个小网络，这些 task 就有很多选择了，更多是对业务的理解，如可以让 meta-network 吐出来的 embedding 与 item 在成熟期的 embedding 误差尽量小 (针对已经步入成熟期的 item 的样本)，也可以利用冷启动 item 对网络进行二次的训练等

    • 这种方法的两篇比较典型的 paper 可参考
      Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings

    • Learning to Warm Up Cold Item Embeddings for Cold-start Recommendation with Meta Scaling and Shifting Networks

  • (2) 基于 MAML 的方法训练模型，让 embedding 更快收敛#card

    • 第二中方法基本上就是基于 meta learning 的思想，让模型能够更好的 learn to learn，即使对于样本量很少的 item 也能较快学习到，代表方法就是 MAML，可以参考下面两篇 paper，另外，关于 MAML 更通俗的介绍可参考知乎上这篇文章
      Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
      MeLU- Meta-Learned User Preference Estimator for Cold-Start Recommendation
      上面的方法基本都是让冷启动 item 的 id embedding 能更快收敛，还有另一种方法是将冷启动的 item 的一些更泛化的特征直接加入到模型中，如图像、文本等描述性特征，通过一些 pretrained model (如 VGG、Bert 等) 将其转为 embedding 的模型加入模型中，也是一种常见的套路。

• 策略上往往也需要对冷启动的计划有额外的举措；

  • 如在冷启动阶段，可以给计划 “绿色通道”, 即一定 explore 的 quota，如同上面提到的起量问题一样 (起量其实也可以算是一个冷启动问题)，而这也涉及到老生常谈的 E&E 问题了，#card

    • 一个跟 deep learning 的玄学程度不相上下的领域，这部分内容介绍可参考  [[exploration and exploitation]] 。

    • 同样地，这些 explore quota 也应该根据每个计划的预期表现给予个性化的分配；即需要识别计划未来的表现，毕竟往往个性化分别比起均分都是最优的。此外，这些 quota 必然会对成熟期的计划造成一定的积压，所以也需要考虑冷启动和成熟期的 trade-off。

• 除了额外的扶持，冷启动的出价方法也需要额外考虑，#card

  • 因为此时计划的后验数据基本是空的，那怎么才能获取出价调控需要的这些数据呢？这里也有一些思路，比如可不可以利用相似计划的后验数据？或者信任预估，直接对预估值取 sum？或者产品层面就不对冷启动计划做苛刻的成本要求？

• 同时，在实际产品中，往往也需要联合产品教育广告主，冷启动期间就是会存在不稳定性，更容易出现超成本等问题，#card

  • 而如果客户对平台粘性不高或者整个市场有其他更有竞争力的竞品，这些超成本所带来的损失往往也是需要有平台来承担。

持续跑量

• 持续跑量可以认为是计划渡过冷启动后，亦即计划进入了成熟期需要面临的问题，因为广告主在投放追求的往往是两个东西：成本和跑量，在成本能控住的前提下，跑量一般是越多越好的，但现状是在不少的媒体上，计划在进入成熟期不久就会掉量，而且往往是掉了之后就再也起不来了，也就是说计划的生命周期较短。

  • 造成这个问题原因有很多，包括但不限于#card
    • 广告主频繁地修改出价、定向、预算等有可能改变计划的稳态
      模型预估的不准确、出价调控不够稳定，可能导致计划突然爆量或掉量
      如果竞价环境比价激烈，那么对于有限的展示机会和不断增加的计划数，部分老计划掉量也是不可避免的
      自然衰减，如计划圈定的人群基本都曝光了，或者创意的自然衰减
      这个问题会往往会导致广告主为了跑量而不断复制新建计划，进一步加剧起量、冷启动等问题，也直接导致竞争环境变得更激烈，系统的机器负载更大，因此，保证计划的持续跑量是所有广告系统都需要解决的重要问题。

• 抛开第三个比较难改变的因素，针对其他几个原因，有一些思路也许值得借鉴#card

  • 广告主要减少频繁修改计划的定向、出价等操作，这些需要平台教育广告主，至于频率多大算频繁，定向又应该放开到何种程度，需要平台同时实验等手段测试出来，最好能给广告主提供一个参考值
    要尽量减少系统波动等因素对计划的影响，即要减少各中工程和算法的事故的影响，如尽量保证各种 infra 服务的高可用性，AB 实验要更加谨慎，因为这些操作都是有可能影响计划的稳态
    对于要掉量的计划生效额外策略；这里面又可分为两个问题，如识别掉量计划以及对计划做何种策略，这个问题跟冷启动的扶持也很相似

链接： https://m.okjike.com/originalPosts/6732c87fa8855e724b728c9b

这篇主要讲教育系统是如何捕获我们的生命力的？但是我感觉对于职场人、打工人也很有启发，因为系统对人的影响是相似的。

1.什么是生命力？ #card

• 项飙认为生命力不等于行动力，对生命力最重要的是意识和行动力之间的间隔。

• 比如说你在健身和跑步的时候，身体和心理是可以分开来的。

• 这类任务让你在做无意义的活动时，可以产生一种“有意义的叙述。”

• 你可以一边跑步，一边让你的脑子从身体中解放出来，做一种“前因后果”的叙述：我为什么要跑步，我可以跑到什么程度，我达到了我设想的目标吗。

• 但是现在我们生活和工作中的很多任务，是把人这种停下来进行“有意义叙述”的时间剥夺了。

• 你的脑子没有停下来，而是一直在执行任务，简而言之就是人被工作碾压了。

• 人被安排在一个又一个任务里，没有“间隔”，脑子被工作任务过多的占有了。

• 因此，人也就没有能力从行动中抽身出来，反观自己的行动，从而形成叙述。

2.生命力的捕获和劳动力的捕获有什么不同？

• 比较有意思的是，这个访谈里对比了两个概念。

• 第一个概念叫劳动力的捕获，劳动力的捕获会产生 异化 ， 异化 会让人产生 批判意识 。

  • 比如说，一个工厂里的工人，他被异化以后，他可能觉得工作没劲，没意思。当他意识到生产出来的东西是压迫自己的时候，最后就可能引发 **批判和解放 ** 。

• 第二个概念是生命力的捕获，这种捕获最典型的特征就是 工作 ，不仅占据了你的体力，而且还影响你的意识、注意力、精力等。

  • 简单来说就是你在下班，以后还需要 去思考工作上的事情 。你无法完全从你的任务中抽离出来。甚至还有回家办公，或者说下班以后依旧需要工作的。
  • 这种捕获比起劳动力上的捕获更加的 消耗 人。
    3.通过横向反思和行动空间重建生命力？

• 横向反思大概的意思，其实也是要抽离出来看待自己的任务。#card

  • 意思就是你在面对一个任务的时候，不要一直想着接下来该怎么办？领导怎么想？我该怎么做？

  • 而是时不时的停下来，想想我在做什么？我为什么要做这个事情？我的状态是什么样的？

• 行动空间概念可以理解为，你要时刻意识到自己有做其他事情的可能性。#card

  • 你周末可以做些其他的事情，比如和朋友出去玩，去主动地做一些其他的事情，让自己有更多的沉浸式体验。

research 心法总则 #card

Chonghe Wang(MIT) [[冲气以为和]] #card

Andrej Karpathy(Stanford) #card

• 好文回顾 | 李飞飞高徒 Andrej Karpathy：计算机科学博士的生存指南（附博士论文）

Helen姐(Princeton Math Ph.D) #card

• 因为Helen没有实名上网，所以暂时不放真名，但Helen姐（现在在小红书分享）对我的影响是非常深刻的，她的思想非常先进，关于学习和个人发展的认识也非常深刻。这些分享是她早年间在微博分享的（现在可能已经不可见），我整理和收藏了多年。她对于女性科研工作者也有很强烈的鼓舞。

• 这些分享揭示了Ph.D的本质，和自学成才的本质，不要被虚荣心蒙蔽，不要为了和别人攀比而学习，不要为了学会什么fancy的名词获得什么title而沾沾自喜，避免无效学习，摆脱线性思维，靠自驱力和motivation，不要在意无关人士的评价。这些观点我相信会对很多人都有启发。

Haoshu Fang(SJTU-MIT) #card

• 科研第一阶段是学习技能阶段，但是不要上来打基础就打2年（从CS231n看起，Andrew NG的机器学习看起，深度学习花书看起），不是说看书没用，基础知识都必须全部要学，但是AI是高度实践性的学科，一定要知识结合代码。学习技能阶段最好找到active的senior member合作，具体看下文Fang博士的分享吧，要找到有能力愿意带你的前辈，跟着学。
  Junior阶段怎么让大佬愿意带你？请见我的第一张图分享：

  • 1.态度诚恳，踏实肯干，从帮别人打下手开始，学习别人的工作流程，工作技能，向有结果的人学习

  • 2.long vision：首次合作愉快才会有长期合作机会（重视reputation，不看重一时得失）。最开始不要去斤斤计较几作，是去学习技能的（写文章，投稿）

• 科研第二阶段是熟练技能以后，开始以共一或独立做project，这一段时间就是Ph.D的training。

• 科研第三阶段是准教职阶段，提出大的目标/问题，用3-5年完成/回答。

Jun Cen(HKUST) #card

• Cen博士把科研分为了四个阶段，入门摸索阶段-学会科研阶段-精通熟练阶段-合作带人阶段。

• 相比上面的思路新加了一个合作带人阶段，其实不用等到教职，从Senior Ph.D开始就会接触到这个阶段，学术合作也是很好地拓展自己交际圈和影响力的方式，在带Junior的过程中，训练自己当老师的技能和领导力。

Sida Peng #card

• Peng老师在Github分享了非常详细的经验。这些经验高屋建瓴地分享了完成一个reseach project的流程，很有借鉴意义。提出了三种想idea的方式：1.idea-driven 2.goal-driven 3.旧领域+新锤子（新工具，如diffusion, gaussian splatting, mamba等）

Junwei Liang(CMU)

• 梁老师是我的恩师，从梁老师这里学到了很多东西，作为AI PhD，如何设定目标，以及如何去达到目标。制作Awesome List也是获得影响力的方式，我的Awesome-Mamba-List受梁老师的insights启发。

• 工业界 or 学术界目标 #card
  

• 如何去达到目标 #card
  

Guodun Lee(ZJU)

• [[@普通硕士生的NLP之旅]]

• @Gordon Lee 是我的好朋友兼人生导师，教会了我非常多的东西，我的第一篇一作工作，虽然现在看来不完美，但也得到了他的很多帮助。Gordon大量总结了自己读研的经验教训，硕士毕业有2A2B工作，虽然他是这个系列唯一一个MS，但我认为他是有PhD水平的。#card

  • 这些经验囊括了AI MS或PhD初级阶段需要的各种技能：阅读论文，做笔记，文献管理，如何社交，如何做开源项目获得影响力，科研失败教训，如何Rebuttal。尤其是社交&做开源项目方面，我受到了他很多影响，并践行到我自己的人生体系里面，这让我交到了很多做学术的朋友们。

Runsheng Xu(UCLA) #card

链接： Five Year Research Experience Exploring_By_Yujin_Tang - Google 幻灯片、写在Ph.D第0年：AI/CV科研菜鸟的持续进阶之路 - 知乎

[[Successful PhD Journey]]

[[1.top school Ph.D Student的能量和心力]]

[[2.如何对科研的不同阶段建立正确的认知]]

[[3.非常具体(hands on)的AI科研目标&经验]]

4.我的AI科研CheatSheet与最佳实践

• [[如何建立科研正反馈]]

日常科研经验分享 方向和论文 #card

日常科研经验分享：读论文和做笔记 #card

如何提高炼丹能力 #card

为什么要社交 #card

开源项目 #card

我从失败中学到什么 #card

科研的本质是 项目管理 ，身兼：算法，开发，产品，运营（宣传），Manager（项目排期，进度管理）

我开新Project的流程 #card

Junior阶段如何找到大佬带你？#card
+

态度诚恳，踏实肯干，从帮别人打下手开始，学习别人的工作流程，工作技能，向有结果的人学习

• long vision：首次合作愉快才会有长期合作机会（重视reputation，不看重一时得失）

如何面对科研中的挫败和无反馈感？#card
+

绝大多数时候失败，极少数时候成功

git管理：看看git commit次数，每天走之前commit一次，给自己正反馈

• Notion记录项目开发和实验日志，带时间戳，“可视化”自己的进展和进步

xiaoguang han 如何想 idea #card

1.git管理：看看git commit次数，每天走之前commit一次，给自己正反馈。 #card

2.Notion记录项目开发和实验日志，带时间戳，“可视化”自己的进展和进步 #card
+

#card 作者认为 V1 中每层只有 w 和 b 两个 d 维向量要学习，参数容量有限，限制模型的表达能力用 d维方阵替代 w

DCN 和 DNN 的连接方案 #card

常规校准方法

• Platt scaling

• isotonic regression

isotonic regression layer

• $y_{\text {cali }}=\Sigma_{i=0}^{i=k} \operatorname{Relu}\left(e_i+w_i\right) \cdot v_i+b, v_i=\left\{\begin{array}{ll}\text { step, } & \text { if } i<k \\ y-s t e p \cdot & \mathrm{i}=\mathrm{k}\end{array}\right.$，$k=\arg \max _j(y-$ step $\cdot j>0)$. #card

  • 分段拟合，对预测值分桶，每个桶一个可训练的权重 wi

  • relu 保证非负

  • ei 由校准特征得到的 embedding

Stable Unit Treatment Value Assumption [[稳定单元干预值假设]]#card

• 不同个体的潜在结果之间不会有交互影响

• 干预水平对所有个体一致

• 单元之间相互独立，一个单元受到的干预不会影响另外一个单元的潜在结果。举一个不满足的反例，某苹果手机降价后销量大涨，相关的手机壳等配件销量也随之上涨，苹果手机和手机壳等就不是独立的，类似地可以用GNN建模该关联。

• 干预形式是唯一的，对于同一种干预不存在能产生不同潜在结果的其他版本。举一个不满足的反例，如果将降价视为干预，打5折和打9折对销量的影响显然差异巨大，而应该将不同的折扣建模为多值干预。

[[No unmeasured confounders]] 没有未测量的混杂因子#card

• 可忽略性/非混淆假设（Ignorability / Unconfoundedness Assumption

• $W \perp \!\!\! \perp Y(W=0), Y(W=1) \mid X$

• 给定X，则分配机制与Y无关

• 如果两个个体的x一样，则无论W是什么，其潜在结果一样

• 如果两个个体的×一样，则无论潜在结果是什么，它们的分配机制都一样

• 背景变量包含了所有的混杂因子。如果背景变量仅包含了部分混杂因子，那就无法去除干净伪相关的影响，预测的因果效应就存在高低估问题。不过想要做到这点挺难的，有时候我们都不知道有哪些混杂因子，更别提把它们都包括进来。
  相同背景变量的单元无论受到何种干预其潜在结果也相同，并且无论潜在结果如何其受到的干预机制相同。

Positivity [[正值假设]]#card

• 干预是确定的，对于任何背景变量的单元，每一种干预的概率大于0。

• $P(W=w \mid X=X)>0 \quad \forall w$ and $x$

• common support / overlap

思路：ALiBi（Attention with Linear Biases）#card

• 不向word embedding中添加positional embedding，而是"根据token之间的距离给 attention score 加上一个预设好的偏置矩阵"，即直接引入相对位置。

举例：两个token之间存在一个相对位置差1，就加上一个 -1 的偏置，如果token之间的距离越远则这个负数就越大，代表它们之间的相关性更低。#card

代码 #card

• 两层 [[DCNv2]] 提供足够的交叉，但是会显著增加训练和推理时间。采用两种策略提高效率 #card

  • replaced the weight matrix with two skinny matrices resembling a low-rank approximation

  • reduced the input feature dimension by replacing sparse one-hot features with embedding-table look-ups, resulting in nearly a 30% reduction.

• low-rank cross net 中引入注意力机制 #card

  • 通过 temperature 平衡学习到的特征交互复杂度

  • skip connection 和 fine-tuning the attention temperature 有助于学习更复杂的特征俩惯性，并保持稳定的训练。

设计目标：通过绝对位置编码的方式实现相对位置编码 #card

设计思路：在NLP中，通常会通过向量q和k的内积来计算注意力系数（ATTN），如果能够对q、k向量注入位置信息，然后用更新的q、k向量做内积就能丝滑地引入 位置信息 了。
图3-1：RoPE的两种解释（左：直观解释，右：原始推导）#card

图3-2：RoPE的操作示意图#card

Transformer升级之路：2、博采众长的旋转式位置编码 - 科学空间|Scientific Spaces

链接：LLM实践–理解Language Model是如何到PPO的 理论篇 - 知乎

在下面的文章里，我们约定，在语言模型的场景下：$X \sim \mathcal{D}$ 表示一条文本X采样自数据集D #card

• 假设我们数据集D只有下面4条文本。

  • $X_1=$ 中国的首都是哪里？北京。

  • $X_2=$ 中国的首都是哪里？中国的首都是北京。

  • $X_3=$ 中国的首都是哪里？中国的首都不是广州和武汉，是北京。

  • $X_4=$ 中国的首都是哪里？中国的首都不是广州，是北京。

• 约定 $x_t$ 表示一条文本中的第 t 个token，$x_{<t}$ 表示所有 t 之前的token。

奖励模型作用 :-> 给定一条文本X，奖励模型可以给这个文本打分 $r_X$ ，表示这条文本在人类定义的偏好下的好坏。

• 奖励模型训练使用这个loss函数： $\mathcal{L}_{\text {reward }}=-\log \sigma\left(r_{X_{\text {chosen }}}-r_{X_{\text {rejected }}}\right)$ #card

  • 其中 $r_{X_{\text {chosen }}}$ 和 $r_{X_{\text {rejected }}}$ 分别表示好，坏文本的奖励分数。一般取每个文本最后一个token的 logits，乘一个shape＝［embedding＿dim，1］的矩阵，映射成一个1维分数。

  • 从奖励模型的loss上看，模型建模的是相对分数，而不是绝对分数，实际也是如此。

  • 不同domian的分数区间是不同的，很难找到一个统一的阈值划分好坏，所以用的时候一般要伴随使用norm（或者baseline）。

[[@PPO与GRPO中的KL散度近似计算]] 要点

• 一个是KL散度的方向：假设需要训练的模型是分布 A ，作为基准的分布是分布 B ，从训练分布中采样的 $K L(A \| B)$ 称为正向KL，从基准分布中采样的 $K L(B \| A)$ 称为反向 KL 。 #card

  • 正向 KL 有模式坍塌，反向 KL 会更全面的覆盖基准分布，但是部分概率拟合偏差较大。

  • 在Post－train之前的阶段我会优先使用反向KL，比如预训练，持续训练，蒸馏，因为此时模型学习的目标是尽可能全面的覆盖自然世界知识。

  • 在Post－ train我一般优先尝试正向KL，这个时候模式坍塌是不可避免的，也是可接受的。

• 一个是KL散度的估计方式

  • 为什么有时候使用 [[K2 估计器]] 和 [[K3 估计器]] 替代 [[K1 估计器]] #card

    • 蒙特卡洛估计是无偏的，当采样趋近于无穷的时候估计的就是KL散度本身，但是在采样数量少时方差太大。

    • 离散KL散度本来是非负的，但使用蒙特卡洛估计时值可能为负。所以一个简单的考虑是让估计值非负来减小方差，绝对值估计或 [[K2 估计器]] 。

加权语言模型

• 观察我们的数据集D，既然我们有一个能给文本打分的reward模型，不妨假设模型会这样给每个条数据打质量分：#card

  • $X_1$ 虽然正确，但是太简短了，$r_{X_1}=1$

  • $X_2$ 的回答主谓宾完整，质量好于第一条，质量分 $r_{X_2}=1.5$

  • $X_3$ 虽然也是正确的，但是＂不是广州和武汉＂明显是冗余的，质量分 $r_{X_3}=0.5$

  • $X_4$ 正确的且比 $X_3$ 废话少一点 $r_{X_4}=0.7$

• 既然训练语料有了质量分，那么一个自然的想法就是让质量更高的文本在训练时的loss重要性高一些，反之则低一点。那么我们可以优化一下语言模型loss，改写成下面的形式：#card

  • $\mathcal{L}_{l m}=r_X \log P(X)=r_X \sum_{t=1}^T \log P\left(x_t \mid x_{<t}\right)$

  • 只要保证r不小于0，新loss函数优化得到的模型就依旧是语言模型。

  • 加权loss等价于对数据进行上、下采样。r=0.5等于在batch中下采样一倍，2等价于上采样一倍。所以只要数据集没有问题，加权loss训练的模型也不会崩。（这是理论上的情况，在实际中rejection sampling连加权都没有，也能给模型训崩，这个我们放在实验篇讨论）

Policy-base 强化学习

• 基于策略的强化学习优化目标和加权语言模型 loss 对比 #card

  • 形式上一致

    • 强化学习 $J\left(\pi_\theta\right)=E_{\tau \sim \pi_\theta}\left[R(\tau) \log P_\theta(\tau)\right]$

    • 语言模型 $\mathcal{L}=E_{X \sim \mathcal{D}}\left[r_X \log P(X)\right]$

  • 区别是一个数据数据采样自模型，一个采样自数据集

过程监督

• 如何奖励模型能对每一个 token 打分，加权语言模型 loss 改写成 #card

  • $\mathcal{L}=\sum_{t=1}^T r_t \log P\left(x_t \mid x_{<t}\right)$
  • 把 $r_X$ 移动到求和符号里面变成针对每个token的细粒度分数 $r_t$

• 一旦计算token级别的权重，这个loss优化出来模型就已经不是统计意义上的语言模型了，因为这是对每个token做不同的上、下采样。#card

  • 通俗理解：把一句话说两遍这句话还是自然语言，但是把一句话话中的某个字说丙扁这就不不是正常的语言了。另外，就算是文本级别的权重，如果取负值，那么优化的目标将不再是最大化对数似然，自然模型也不是语言模型。

  • 一旦loss是非语言模型loss，训练就有可能崩溃，因为此时模型的优化目标并不是“模型依概率采样出一句话”，优化目标和我们的采样行为出现了gap。

  • 此时就需要在基础loss上引入KL散度约束。此刻起优化目标彻底脱离“最大化数据的对数似然”，变为“最大化奖励的期望”。

  • 在这之后我会称呼我们正在训练的这个用来说话的模型为策略模型。

• $\mathcal{L}=\sum_{t=1}^T r_t \log P\left(x_t \mid x_{<t}\right)$
  学习目标的意义是 :-> 当采样一个token的分数 rt 为正，就会增加这个token的概率，分值越高增加的程度就越高。反之如果 rt 为负，则减小这个token的概率。

  • 这个目标包含的马尔可夫假设 #card

    • 即当token序列为 $x_{<t}$ ，采样这个动作 $P\left(x_t \mid x_{<t}\right)$ 只影响 $x_{\leq t}$ 的奖励，只要 $x_{\leq t}$ 的奖励 $r_t$ 高，$P\left(x_t \mid x_{<t}\right)$ 就好。

    • 马尔可夫假设是个很强的假设，很少有这么理想的情况

• $X_3=$ 中国的首都是哪里？中国的首都不是广州和武汉，是北京。
  中一个“不”字不仅让“中国的首都不”的奖励降低，还让后面“是广州和武汉”这么多token帮着往回拐。所以采样的token不仅应该对自己负责，还应该对后续token的奖励负责。将 loss 改成 #card

  • $G\left(x_t\right)=\sum_{i=t}^T r_i$，$\mathcal{L}=\sum_{t=1}^T G\left(x_t\right) \log P\left(x_t \mid x_{<t}\right)$

• $G\left(x_t\right)=\sum_{i=t}^T r_i$，$\mathcal{L}=\sum_{t=1}^T G\left(x_t\right) \log P\left(x_t \mid x_{<t}\right)$
  loss 的含义 #card

  • 当采样一个token $x_t$ 后，这个token之后所有token的总奖励分数 $G\left(x_t\right)$ 为正，就会增加这个token的概率，分值越高增加的程度就越高。反之则降低这个token的概率。

  • 在强化相关的算法中，我们会看到很多 $\sum_{i=t}^T$ 而不是更常见的 $\sum_{i=1}^T$ ，基本都是源于这种＂向后负责＂的思想。

• 再进一步，一个token对后续每个token负的责也不都是一样的，直觉上应该是距离当前位置越远，token对其负责越少。所以我们改造一下奖励的累计方法：#card

  • $G\left(x_t\right)=\sum_{i=t}^T \gamma^{i-t} r_i$

  • $\gamma$ 是一个0－1之间的超参，越大表示对后续token负责越多，趋近于 0 表示不对后续负责， 1 表示对后续负全部责任。这个改造后的累计函数就是我们之后实际使用的累计函数，在强化中也称为回报（return）。

Baseline

#card 观察图中给出的例子，由于这句话整体是正确的，所以虽然有一些废话token分数不高，但也都是正的。相当于所有token的概率都在增加，只不过不好的token增加的慢一点。这样只有等到其他更好的token概率足够高了，才能消灭掉不好的token。显然这样的学习效率很低，甚至可以说是错误的，这些错误token的概率就不应该增加。所以我们可以给这些分数做一个中心化，全部减去一个值，让分数有正有负，更明显的区分出好坏，公式可以表示为：
+ $\mathcal{L}=\sum_{t=1}^T\left[G\left(x_t\right)-b\right] \log P\left(x_t \mid x_{<t}\right)$

+ 减去的这个值，我们就称它为baseline。之所以叫baseline，是因为这是一句话的“基准”，它表示了一句话的平均好坏，如果这个句子是模型采样生成的，则也表示这个模型现有的平均能力。

• 在很多地方，我们会看到说减去baseline的作用是降低方差。哪里来的方差，为什么要降低方差？#card

  • 在强化的训练过程中，训练使用的文本是采样出来的。假设我每次都采样两条进行训练，某一次采样出了 $X_2$ 和 $X_3, ~ X_2$ 完全正确，每个token都是1．5分。

    • 那么训练时＂中国的首都－＞是＂的概率以 1.5 倍的强度提升，＂中国的首都－＞不＂以 0.5 倍的强度提升，经过softmax归一化以后，相当于在降低＂不＂的概率，模型整体的学习方向还是正确的。

  • 但是如果我只采样一条数据训练，且不幸采到了 $X_3$ ，那么＂不＂的概率将提升，模型的学习方向是错误的。这并不是说采样采的不对，也不是奖励模型打分错了。

  • 而是当采样次数不够多时，分数无法准确的反应奖励模型真正希望模型去改进的方向（不是＂不是广州和武汉＂是错的，而是奖励模型更想要不废话的答案）。

  • 这个奖励模型希望我们改进的方向是期望，而采样与这个期望的距离就是我们所说的方差。在micro－batch梯度下降这种优化方式下，过大的方差会导致模型无法收敛。

既然减去baseline作用这么大，下面我们就看看这个baseline应该怎么确定。一个朴素的想法是，用每个token的平均分作为baseline。

+ 比如图中这些token的平均分是0.76，那么减去之后每个token的分数变成：#card
  + 这样该正的正，该负的负，更符合我们的期望了。

+ 但是这么做有个问题，如果仅使用每条数据自己的均值，就意味着一个句子中的token必定有正有负。#card
  + 这会导致好句子中有部分token的概率会下降，坏句子还是有一部分token概率会上升。

  + 为了更加准确的估算这个baseline，我们应该将视野扩大，不仅关注一个token在一条数据中的相对好坏，更要从整个数据集的角度看一个token是好是坏。

在统计学中，整体的角度就是指期望。我们可以尝试计算文本中每个token的期望回报 $E\left[G\left(x_t\right)\right]$ 。用数据集D举例说明一下这个期望分数是怎么算出来的：

+ 上表是我们数据集中的4条数据。最后一列是在最开始＂加权语言模型＂这一节中给出的文本级别的分数。#card
  + 为了好算，我假设一句话中每个token的回报都等于这句话的reward，也就是 $G\left(x_t\right)=r_T$

  + （这个假设等价于只给最后一个token打分，其他都是 0 ，并且 $\gamma$ 为 1 。

  + 这是可以实现的假设，并且也确实是实际会用到的一个假设）。

+ 计算 $X_4$ 中每个token的期望回报 $E\left[G\left(x_t\right)\right]:$

  + $E\left[G\left(x_1^4\right)\right]=E[G( 中 )]$ ，这里需要理解的一点是 $E\left[G\left(x_t\right)\right]$ 和 $G\left(x_t\right)$ 是错位的关系。#card
    + $G\left(x_t\right)$ 表达的是采样了 $x_t$ 后的回报。

    + 而 E 是期望，期望就意味着是取遍了 $x_t$ 所有可能的值后计算出的平均，它反应的其实是 $x_t$ 的前缀 $x_{<t}$ 的回报。

    + G （中）的前缀为空，所以就是整个数据集的均分 $=\frac{1+1.5+0.7+0.5}{4} \approx 0.93$

  + $E\left[G\left(x_2^4\right)\right]=E[G( 中国 )]$ ，#card
    + 也就是计算所有第 1 个token为＂中＂的数据的平均回报。

    + X2， X3，X4三条数据满足要求，所以平均回报是 $\frac{1.5+0.7+0.5}{3}=0.9$

  + $E\left[G\left(x_3^4\right)\right]=E[G( 中国的 )]$ #card
    + ，也就是计算所有前 2 个token为＂中国＂的数据的平均回报。

    + $\mathrm{X} 2, ~ \mathrm{X} 3, ~ \mathrm{X} 4$ 三条数据满足要求，平均回报是 $\frac{1.5+0.7+0.5}{3}=0.9$

  + $E\left[G\left(x_7^4\right)\right]=E[G(中国的首都不是)]$ ，#card
    + 这个时候只剩下X3，X4满足要求，平均回报＝ $\frac{0.7+0.5}{2}=0.6$

  + #card $E\left[G\left(x_{11}^4\right)\right]=E[G(中国的首都不是广州，是)]$ ，
    + 这个时候只剩下X4满足要求，平均回报 $=0.7$

  + 观察X4，会发现前几个token＂中国的首都＂都是对的，但是减去期望后分数却是负的 -0.2 。这种不合理来自于#card
    + 我们将 $\gamma$ 设定为 1 。这就导致＂中国的首都＂几个字要为后面的＂不是．．．＂负全部责任。

• 当使用期望作为baseline时，策略模型的loss函数写成：$\mathcal{L}=\sum_{t=1}^T\left[G\left(x_t\right)-E\left[G\left(x_t\right)\right]\right] \log P\left(x_t \mid x_{<t}\right)$

  • 理解一下这个loss函数： #card

    • $G\left(x_t\right)$ 表示的是采样了 $x_t$ 后的句子有多好。

    • $E\left[G\left(x_t\right)\right]$ 表示还没有采样 $x_t$ 时前缀有多好。

    • 如果采样 $x_t$ 后句子比采样之前更好（差值为正），就说明这个采样是好的，则增加概率，反之则减小概率。

  • 这个loss是理想的目标，但是在实际RLHF训练的过程中，我们无法计算 $E[G(x)]$ ，因为#card

    • RLHF时answer都是实时生成的。

    • 只有SFT，RS，DPO这种固定训练集的算法能计算出整个数据集的期望。

    • 没有办法计算就只能想办法近似。

• $\mathcal{L}=\sum_{t=1}^T\left[G\left(x_t\right)-B\left(x_t\right)\right] \log P\left(x_t \mid x_{<t}\right)$，用函数 $B(x)$ 来近似计算 $E[G(x)]$

  • 近似函数可以怎么设计 #card

    • 用贪婪采样的句子奖励来近似模型的＂平均能力＂：$B(x)=r_{X_{M A X}} \sim E[G(X)]$ ，这就是ReMAX。

    • 可以对一个prompt采样多个answer $\left(X_1, X_2, \ldots X_G\right)$ ，然后用平均奖励来近似： $B(x)=\frac{\sum_{i=1}^G r_{X_i}}{G} \sim E[G(X)]$ ，这就是GRPO。

    • 如果在计算平均奖励时，＂扣掉＂正要训练的这条数据，计算除此之外其他文本的奖励均值，就是RLOO。

  • 这种基于采样的近似方法有个特点，因为采样就会导致新的baseline answer $X_{\text {baseline }}$ 和我们要训练的数据长度不一致，因此没有办法按位对齐回报和baseline。#card

    • 所以这一类算法的 $G\left(x_t\right)$ 可以带脚标 t ，表示每个token的回报不同，但是 $B(x)$ 都是不带脚标 t 的，算整个 answer的reward。

• 有这么多种baseline的选择，那种好呢？一般评判baseline可以用两个指标：#card

  • 期望和方差。好的baseline应该不改变原始优化目标梯度的期望，并且能够减小方差。

• 是否能够不改变梯度期望比较好证明：#card

  • $\begin{aligned} E \nabla_\theta \mathcal{L} & =E \nabla_\theta \sum_{t=1}^T\left[G\left(x_t\right)-B\left(x_t\right)\right] \log P\left(x_t \mid x_{<t}\right) \\ & =\sum_{t=1}^T\left[E \nabla_\theta G\left(x_t\right) \log P\left(x_t \mid x_{<t}\right)-E \nabla_\theta B\left(x_t\right) \log P\left(x_t \mid x_{<t}\right)\right]\end{aligned}$

  • 只需要证明后面一项 $E \nabla_\theta B\left(x_t\right) \log P\left(x_t \mid x_{<t}\right)=0$ ，就能说明没有改变期望。用一下上文提到的对数求导技巧：

    • $$$$

E \nabla_\theta B\left(x_t\right) \log P\left(x_t \mid x_{<t}\right) & =B\left(x_t\right) E \nabla_\theta \log P\left(x_t \mid x_{<t}\right) \
& =B\left(x_t\right) \sum P\left(x_t \mid x_{<t}\right) \nabla_\theta \log P\left(x_t \mid x_{<t}\right) \
& =B\left(x_t\right) \sum \nabla_\theta P\left(x_t \mid x_{<t}\right) \
& =B\left(x_t\right) \nabla_\theta \sum P\left(x_t \mid x_{<t}\right) \
& =B\left(x_t\right) \nabla_\theta 1 \
& =0
\end{aligned}

+ 也就是说只要 $B\left(x_t\right)$ 与 $\nabla_\theta, E_{x_t \sim P\left(x_t \mid x_{<t}\right)}$ 无关，可以从求导和期望符号里提出来，这一项就为 0 。 + 比如ReMax中， b 是贪婪采样的answer奖励 $r_{X_{M A X}}$ 。 $X_{M A X}$ 和正在训练的句子是无关的，奖励模型也无关，所 B 就可以提到前面。 + 再比如RLOO，b是除训练文本之外的其他文本的奖励均值，所以也可以提出来。 + 但是GRPO计算时，b是包含正在训练的文本的奖励均值，就提不出来。 + 至于方差是否降低则各有各的证明方法，这就麻烦去看各个论文的原始推导吧。 ## 价值函数 + 除了这种用采样来逼近 $E[G(x)]$ 的思路，还有另一种深度学习中也很常见的思路：算不出来的东西，就用 **模型** 去拟合。 + $\mathcal{L}=\sum_{t=1}^T\left[G\left(x_t\right)-V\left(x_t\right)\right] \log P\left(x_t \mid x_{<t}\right)$，用一个模型去拟合 $G$ 的期望 $V_\zeta(x) \sim E[G(x)]$ + V在强化学习中称为 **状态价值函数** ，模型称为critic模型。在训练策略模型时，critic是不训练的，可以视为常数baseline。 + 那critic模型怎么训练呢？critic模型是在预测 $E[G(x)]$ ，这是一个典型的回归任务，那么就可以用 :-> 均方差损失来优化 $\mathcal{L}=\sum_{t=1}^T \frac{1}{2}\left(E\left[G\left(x_t\right)\right]-V\left(x_t\right)\right)^2$ + 这里又有 $E[G(x)]$ ，所以还是老办法，用采样来近似，#card + 这不过这里不需要向上面那样既采样训练用的answer，又采样baseline的answer了，直接用训练answer就可以了： + $\mathcal{L} \approx \frac{1}{2 N} \sum_{i=1}^N \sum_{t=1}^T\left(G\left(x_t^i\right)-V\left(x_t^i\right)\right)^2$ + 这个训练目标理论上是可行的，但是实际训练时这种方法比较难优化。 + id:: 67ffd3f6-13d1-49bf-9fa9-e767d9c30d2b

V\left(x_t\right) \sim E\left[G\left(x_t\right)\right]=E\left(r_t+\gamma r_{t+1}+\gamma^2 r_{t+2}+\ldots+\gamma^{T-t} r_T\right)

#card + $V\left(x_t\right)$ 需要去拟合的这个 $E\left[G\left(x_t\right)\right]$ 是 r 的累加，和所有随机采样的 $x_t, x_{t+1}, \ldots, x_T$ 都有关。这里随机变量太多，比较难优化。这就相当于diffusion 模型从 $z^t$ 一步预测所有 $z^{t-1}, \ldots z^0$ ，语言模型从 $x_t$ 一步预测出 $x_{t+1}, \ldots x_T$ 。语言模型的做法是只预测下一个 token，那这里我们也想办法让V只预测一步。 + $G\left(x_{t+1}\right)$ 的表达式为： +

G\left(x_{t+1}\right)=r_{t+1}+\gamma r_{t+2}+\ldots+\gamma^{T-t-1} r_T

+ 带入 $G\left(x_t\right)$ 的表达式： +

G\left(x_t\right)=r_t+\gamma G\left(x_{t+1}\right)

$$+ 再代入到 V 的公式中： +$$

\begin{aligned}
V\left(x_t\right) \sim E\left[G\left(x_t\right)\right] & =E\left(r_t+\gamma G\left(x_{t+1}\right)\right) \
& =E\left(r_t\right)+\gamma E\left[G\left(x_{t+1}\right)\right] \
& =E\left(r_t\right)+\gamma V\left(x_{t+1}\right)
\end{aligned}

+ 老样子这还是一个回归任务，用均方差损失，$E\left(r_t\right)$ 用采样来近似， + $\mathcal{L}=\frac{1}{2}\left(E\left(r_t\right)+\gamma V\left(x_{t+1}\right)-V\left(x_t\right)\right)^2 \approx \frac{1}{2}\left(r_t+\gamma V\left(x_{t+1}\right)-V\left(x_t\right)\right)^2$ + 这种将一次采样所有再进行拟合的训练方式，转化为采样一步＋函数下一步的值来近似的方法：$G\left(x_t\right) \rightarrow r_t+V\left(x_{t+1}\right)$ ，就叫做时序差分法（Temporal Difference）。#card + 本质上来说这种方法存在的意义就是为了降低随机性，也就是降低方差。 + 当 $V\left(x_t\right)$ 是 $E\left[G\left(x_t\right)\right]$ 的无偏估计时，TD法也是蒙特卡洛法的无偏估计。 + 但是事实上 $V\left(x_t\right)$ 做不到无偏估计 $E\left[G\left(x_t\right)\right]$ ，所以TD法也是有偏的。 ## 优势/动作价值函数/状态价值函数 + 策略函数的loss $\mathcal{L}=\sum_{t=1}^T\left[G\left(x_t\right)-V\left(x_t\right)\right] \log P\left(x_t \mid x_{<t}\right)$ + 同样的动机(降低方差)，同样的形式，我们也用TD法改造一下：#card + $\mathcal{L}=\sum_{t=1}^T\left[r_t+\gamma V\left(x_{t+1}\right)-V\left(x_t\right)\right] \log P\left(x_t \mid x_{<t}\right)$ + $\mathcal{L}=\sum_{t=1}^T\left[r_t+\gamma V\left(x_{t+1}\right)-V\left(x_t\right)\right] \log P\left(x_t \mid x_{<t}\right)$ 到 $\mathcal{L}=\sum_{t=1}^T A\left(x_t\right) \log P\left(x_t \mid x_{<t}\right)$ + 这里面的 V 我们已经说过了，它叫状态价值函数，表达的是 :-> 没有采样 $x_t$ 时句子的回报。 + 我们记：$Q\left(x_t\right)=r_t+\gamma V\left(x_{t+1}\right)$ ，称为动作价值函数，表示 :-> 执行了＂采样 $x_t$＂这个动作后句子的回报。 + 记：$A\left(x_t\right)=Q\left(x_t\right)-V\left(x_t\right)$ ，称为优势，表示 :-> ＂采样 $x_t$＂这个动作相比于没有采样时的优势。 ## [[GAE]] + 表示时序差分 $\mathrm{T}-\mathrm{t}+1$ 步的近似，也就相当于完全通过采样来近似，就等于 $G\left(x_t\right)$ #card + 看到我们的动作价值函数： +

Q\left(x_t\right)=r_t+\gamma V\left(x_{t+1}\right)

$$+ 将这个函数记为： +$$

T D(1)=Q\left(x_t\right)=r_t+\gamma V\left(x_{t+1}\right)

+ 表示时序差分一步对 $G\left(x_t\right)$ 的近似，那么TD（2）： +

T D(2)=r_t+\gamma r_{t+1}+\gamma^2 V\left(x_{t+2}\right)

$$+ 表示时序差分 2 步的近似，以此类推TD（T－t＋1）： +$$

\begin{aligned}
T D(T-t+1) & =r_t+\gamma r_{t+1}+\ldots+\gamma^{T-t} r_T \
& =G\left(x_t\right)
\end{aligned}

+ 之前我们提到过，$T D(1)$ 是有偏的，偏差来自于 V 的偏差，但是它的随机变量少，方差低。随着TD函数的递增，采样越来越多，方差越来越大，但是 V 的占比越来越小，偏差越来越小，直到彻底变为 $G\left(x_t\right)$ 。两种方法各有各的好，对于这种＂多个方法各有各的好＂的情况，一个常见的做法是找 n 个和为 1 的系数，乘在每个方法上求加权和。看下面这种加权法：#card + $(1-\lambda) \sum_{n=1}^{\infty} \lambda^{n-1} T D(n)=(1-\lambda) T D(1)+(1-\lambda) \lambda T D(2)+\ldots +(1-\lambda) \lambda^{\infty} T D(\infty)$ + 首先把系数拿出来是一个几何级数 $(1-\lambda) \sum_{i=0}^{\infty} \lambda^i$ ，在 $\lambda<1$ 时收敛，系数和确实为 1。 + 再看每一项，当 $\lambda$ 越趋近于 0 时，$T D(0)$ 的占比越大，当 $\lambda$ 趋近于 1 时，$T D(\infty)$ 的占比越大。通过调控 $\lambda$ ，可以控制是用方差更小的时序差分法，还是偏差更小的蒙塔卡罗法。将这种＂我全都要＂方法带入优势的计算公式，就是广义优势估计： +

\hat{A}\left(x_t\right)=\left[(1-\lambda) \sum_{n=1}^{T-t} \lambda^{n-1} T D(n)\right]-V\left(x_t\right)

+ 这种写法是为了方便理解广义优势估计是如何平衡TD法和蒙特卡洛法的，实际使用的时候，下面这个公式更方便计算：#card +

\delta_t=r_t+\gamma V\left(x_{t+1}\right)-V\left(x_t\right)

$$+$$

\hat{A}\left(x_t\right)=\sum_{l=0}^{\infty}(\gamma \lambda)^l \delta_{t+l}

+ 引入GAE后策略模型的loss函数为：#card + $\mathcal{L}=\sum_{t=1}^T \hat{A}\left(x_t\right) \log P\left(x_t \mid x_{<t}\right)$ ## [\[\[重要性采样\]\]](/post/logseq/Importance%20Sampling.html) + 当有两个支撑集相同但概率密度不同的分布A、B时，可以在其中一个分布上采样，并利用修正系数，计算出另一个分布上的期望。 + 在训练的过程中为什么会存在两个有差异的分布？#card + 这就要从训练的方法上说起。在实际训练过程中，我们会先 根据rollout batch size采样出一批QA数据，然后再以 train batch size从这些QA中采样数据进行训练。这个 rollout batch size一般会大于 train batch size，也就是说train一个batch后，模型的参数更新了，但是rollout的数据还没训完，还得接着训。 + 这个时候rollout出来的数据是train这一个batch之前的模型采样出来的，这就导致采样模型和训练模型出现了偏差。rollout之所以会大于train是为了增大推理时的吞吐，提高推理效率。 + 但是这个推理过程其实可以被cover掉，比如我最近写的框架就将infer和train重叠了。 + 现在最新的vllm支持了sleep，且megatron和vllm的模型切分方式是相同的，理想情况是megatron将优化器卸载，通过共享内存将参数传递给vllm进程，原地转为vllm推理，然后vllm再sleep原地转megatron训练，性能更高。 + 所以rollout batch size现在也不是非要大于train。另一个可能的差异来源是一次rollout训多个epoch，这个就没办法了。 ## CLIP + 这个截断目的不是真的要把修正系数限制在某一个范围，而是要抛弃修正系数上下溢的数据不进行训练。 #card + 首先假设 $A$ 为正数，如果修正系数上溢，则被截断为 $1+\epsilon$ ，此时截断项比未截断项更小，会被min函数选中。如果下溢，截断项大于未截断项，截断项不会被选中。 + 截断后是没有梯度回传的，所以截断项被选中意味着这条数据被抛弃了。 + 理解一下：当A为正数，意味着应该增大 $x_t$ 的概率。如果此时发生上溢，则表示相比于采样模型，策略模型对 $x_t$ 的概率增加的已经很多了，不要再增加了。 + 如果下溢表示增加的还不够多，还可以继续增加。 + 如果 $A$ 为负数，逻辑也正好反过来。 ## Reference + 开头提到了KL散度，但是我们还没提PPO是怎么用的。之前还埋了一个伏笔，我们说把给整个句子打分的reward升级成了给每个token打分的reward，也没说是怎么升级的。其实在PRM之前没人升级这个，reward还是只给最后一个token打分，其他token的分数其实是用KL散度打的：#card + $r_t=\beta\left(K L\left(P_{\text {policy }} \mid P_{\text {reference }}\right)\right)=-\beta \log \frac{P_{\text {policy }}\left(x_t\right)}{P_{\text {reference }}\left(x_t\right)}$ + $\beta$ 是一个0－1之间的系数，当策略模型的概率高于reference，则r为负降低概率，反之则增加概率。也就是说这里KL散度是被乘在概率上了。当然另一种做法就是像GRPO那样，直接在策略loss之外单独加一个KLloss，这也是KL loss常见的用法。这两种方法的差异我感觉理解的还是太透彻，希望有其他大佬能够解惑。 + 另外这里还涉及一个小细节，就是critic模型在训练的时候，可以选择拟合这个算了 kl 的 reward，也可以拟合没有加上kl的reward，我倾向于不算。 ## 评论区 + 从您这学习到很多，有一个问题想要请教一下。对于GRPO这种将KL项提出来的，那么同一个response的每个token的Advantage是不是都一样了呢，是不是就是您所说的加权语言损失。。。 谢谢！ #card + 不一样，是语言模型loss有两个要求，一个是sentence粒度权重，一个是权重非负，grpo不满足权重非负。 引入kl确实可以视为一种token粒度的奖励，但是这个奖励意义到底是什么，是否真的需要是需要讨论的。事实上我们现在一般不怎么加kl了，加kl权重也很小，千分之一万分之一这种。 + 突然发现引入kl本身是不是就会对不同token带来不同影响呀，不知道我的理解对不对 + 想请教老师一个问题，GRPO对比RF++，前者是在一个问题内采样的多个轨迹上算baseline，后者我不是很清楚，它是相当于有一个batch size=n的问题，每个问题采样一个(?)轨迹，然后n个问题-轨迹得到的reward计算baseline吗？#card + grpo和reinforce++的本质区别应该是是group norm vs batch norm。至于kl放在哪里，每个prompt是采样一个response还是多个都是可调超参。 + 此刻起优化目标彻底脱离“最大化数据的对数似然”，变为“最大化奖励的期望” `` 这句话该怎么理解呢？#card + 只要模型还是在最大化对数似然，就还是语言模型，loss本身不会导致模型说不出人话。对于模型的优化，还是以数据正确性为主而不是训练稳定性。 在变为最大化奖励之后，模型的唯一目标就是追求高奖励，可以用不说人话、hack等等一切方式提高奖励。这个时候就要开始考虑训练稳定性了。 + 但实践中碍于各种因素影响，也不是说最大化对数似然就一定不会崩，比如on-policy的rejection sampling，模型依旧可能崩。这个原因比较复杂，我打算下一篇实验篇再展开。 +

链接： 一文搞懂SuperMemo的基本元素及其与渐进阅读的联系 - 知乎

Concept

• woz本人的概念组 #card
  • 他的概念组里既有像『生物学(Biology)』这样的学科大分类，也有像『着凉而感冒(catch a cold from cold)』这样聚焦的具体主题

• category：predecessor of concepts in older SuperMemos. No longer used in SuperMemo 17. A category used to mean a named branch of the knowledge tree to which elements belonging to a given class of knowledge were added. For example, you might have keep categories such as: General Knowledge , Family , Internet , Job , etc. Now you can accomplish the same with concepts #card
  • 类别：旧版SuperMemo中概念的前身。在SuperMemo 17中已不再使用。类别曾经是指知识树的一个命名分支，属于某一类知识的元素被添加到该分支中。例如，你可能会保留一些类别，如。常识、家庭、互联网、工作，等等。现在你可以用概念完成同样的工作

[[@曾经火热的Graph Embedding和GNN在推荐系统上还有前途吗？]]

雨飞：GNN的本质是抽取图里面的信息，找到物品和用户之间潜在的关系，说白了相当于去找用户与物品之间多跳的潜在联系，所以这种模式本身还是做用户和物品的特征。#card

• 这样你就会发现，在之前的推荐系统中，我们已经添加过很多用户侧、物品侧的特征以及两者的交叉特征，而GNN还是加入的是这种特征，因此学习信号太弱了，整体带来的收益就不会很明显，甚至说反而引入了复杂结构而导致效果下降或者推理速度下降。

• 当然这并不是说GNN就一定没有收益，比如某一些用户行为不充分的场景下，使用图链接的方式可以补充一些行为数据。潜在的问题就是，有更简单的，比如node2vec、line等方法也可以做图的embedding，速度快，效果也还算可以。因此，GNN在有限的成本以及时间的要求下，基本不会是最优或者次优的选择了。

看DeepSeek R1的论文时，我突然想起了AlphaGo - 知乎

R1的reward模型就给我留下了深刻印象：基于规则的奖励模型。

• R1在文中提到，自己为什么没有用PRM：#card

  • 第一，在一般推理中，明确界定细粒度的推理步骤比较困难。

  • 第二，判断当前推理中间步骤是否正确非常困难。使用模型进行自动标注差强人意，而手动标注不利于扩大规模。

  • 第三，一引入基于模型的 PRM，就不可避免地会有奖励劫持问题，动态重训奖励模型资源开销大。

• 因为从事LLM之初，我首先负责的是预训练，所以一个方法能否 scaling up 成为了我后面做持续训练、post-train时，评估这个方法最终能不能work并上到线上模型的重要维度（事实也证明，这样的方法基本都是work的），所以我很认同第二点。#card

  • 虽然现在有很多MC构造数据训练PRM的方法可以scaling up，但是前段时间qwen 数学推理的论文也提到了MC的方法就是会有幻觉，不如llm as judge，更不如人类标注，这里R1索性不用PRM了。

  • 但是r1因为要避免reward hacking，直接连基于模型的ORM都抛弃了，我觉得还是有魄力的。毕竟有不少工作表明了稠密reward在抗噪和提点方面的优势。

  • 但是仔细想想，其实qwen的那篇论文也提到了ORM有一定的PRM的特性，其实也会出幻觉(hacking)。

对于模型主体训练，R1使用了一个多阶段策略：#card

• 首先利用base 模型+ 一些prompt + rule-based reward ，跳过SFT直接上GRPO强化，目标是让reward提升，也就是提升做题准确率。这个过程中模型的输出不断变长，开始学会反思，但是这个阶段的推理过程很难理解。这个时候的模型命名为R1 Zero

• 第二步利用 R1 Zero 生成数据进行RS，留下推理过程正常的。再混合一些非推理数据，对base 模型SFT，再上强化，得到最终的R1。

首先能够直接在base模型上RL我不是很意外，因为我们现在都会把SFT数据加到pretrain里。比如qwen系列的pretrain模型，调一调prompt，基本的指令是能follow的。而且模型越贴近pretrain，幻觉越少这一点也让我看好这种做法。#card

• 其次是看到模型自然的产生反思我也不是很意外，在我做的一些RLHF的实验中，模型只要输出能够变长，经常能看到自然的出现反思，不过我的反思大多最终反思出一个错误的结果。

• 我猜测是因为如果模型输出有变长的趋势，在输出完答案后，自然会用剩下的“额度”去check答案对不对。不过这两年的大模型经验也让我认识到一点，模型一个能力的“涌现”，必定是训过这种类型的数据。所以根本问题其实是为什么强化能在采样的过程中采出这种response，以及为什么模型可以学会这种response而不是更多的去学别的response。（强化的时候模型的输出为什么变长或变短，为什么学了这种类型而没学另一种类型的response，探索稳定训练的症结所在，正好是我最近的研究内容，希望能有个明确的结果）

另一个是关于GRPO使用的KL loss。这个KL loss不是像 PPO 一样加在 reward 里乘在概率上，而是单独减去这个KL loss。并且这个KL loss 使用了 [[K3 估计器]] 估计，而不是直接用蒙特卡洛估计。#card

• 我在做RLHF、蒸馏、自约束等需要KL loss的方法时也发现，当使用乘性KL时，比如将KL蕴含在reward分数里，乘在动作的对数概率上：

  • $$$$