3.12 Model Dictionary Compression

QR hashing (Shi et al., 2019) offers a solution by decomposing large matrices into smaller ones using quotient and remainder techniques while preserving embedding uniqueness across IDs. 通过使用商数和余数技术将大矩阵分解为较小的矩阵，同时保持不同 ID 嵌入的唯一性 #card

• 减少 embedding 词表大小和通过MurmurHash 这样的抗冲突哈希函数消除词表维护需求

非静态词汇哈希范式示例 Example of non static vocab hashing paradigm #card

• id hash 成一个 quotient 和一个 remainder
  
• 具体流程
  

网络回响