高级推荐模型之一：张量分解模型

发表于 | 分类于 ，

为什么需要张量

  • 矩阵分析的核心思想
    • 用矩阵这种数据结构来表达用户和物品的相互关系
      • 这里，我们一般谈论的都是一些最简单的关系，例如评分、点击、购买等（本文我们依然只是讨论评分）
    • 在这种二元的模式下，矩阵就是最好的表达用户和物品之间关系的数据结构
  • 如何表示更多信息(上下文)
    • 背景
      在真实的场景中，用户和物品的关系以及产生这种关系的周围环境是复杂的。一个矩阵并不能完全描述所有的变量。
      • 例如，用户对于某个物品的评分是发生在某个地点、某个时间段内的。这种所谓的“上下文关系”（Context）往往会对评分产生很大影响。遗憾的是，一个矩阵无法捕捉这样的上下文关系
    • 基于回归的矩阵分解和分解机方法解决
      我们之前讨论过的“基于回归的矩阵分解”和“分解机”，本质上都是在某种程度上绕开这个问题
      • 采用的方法就是，依然用矩阵来表达二元关系，但是把其他信息放进隐变量中，或者是采用基于信息的推荐系统的思路来得到相关信息的建模

除了这种思路，还有没有别的方法，可以把上下文关系融入到对用户和物品的建模中去呢

  • 张量
    从本质上来说，张量就是矩阵的推广。我们可以这么理解:
    • 矩阵是对二维关系建模的一种工具；在二维关系中，用户和物品的评分是唯一能够被建模的变量；
    • 而张量，就是对 N维关系的一种建模。而到了 N 维关系中，理论上，我们可以对任意多种上下文关系进行建
      • 比如，我们刚才提到的时间，就可以组成一个三维的张量，分别为用户、物品和时间。然后，在这个三维的张量中，每一个单元代表着某一个用户对于某一个物品在某一个时间段的评分

基于张量分解的推荐模型

分解多维向量，我理解和之前学习的分解矩阵思想类似：分解为多个矩阵的表示方式

  • CP 分解（CANDECOMP/PARAFAC）

    • CP 分解是把一个三维张量分解为三个矩阵。具体来说，比如我们的三维张量是 N 维用户乘以 M 维的物品乘以 R 维的时间段。那么，分解出来的三个矩阵就分别为 N 维乘以 K 维的用户矩阵，M 维乘以 K 维的物品矩阵，以及 R 维乘以 K 维的时间矩阵。
    • 这三个矩阵中的每一个向量都代表某一个用户、某一个物品和某一个时间段。K 在这里是一个参数，类似于矩阵分解中的隐变量的维度，我们也就可以把这个 K 理解成为隐变量的维度
    • 那么在原始的三维张量中，某一个元素就是这三个矩阵的某三个向量对应元素乘积相加的结果
    • CP 分解的一大好处就是，分解出来的三个矩阵的隐变量维度是一样的，这也就减少了需要调整的参数的个数

  • HOSVD 分解（High Order Singular Value decomposition）

    • 含义
      • 这种分解和 CP 分解最大的不同就是分解出来的三个矩阵的维度不再一样
        • 也就是说，在我们之前的例子中，用户矩阵的维度可以是 N 乘以 A，物品矩阵的维度是 M 乘以 B，时间段矩阵的维度是 R 乘以 C。当然，这样就无法还原之前的 N 乘以 M 乘以 R 的三维张量了
        • 于是在技术上，还需要乘以一个 A 乘以 B 乘以 C 的小张量才能对原始数据进行复原。
      • 所以，通俗地讲，HOSVD 分解就是把一个三维的张量，分解成为三个矩阵和一个更小的张量的乘积
    • 优缺点
      • 好处自然就是给不同的数据以不同的自由度，因为不再限制用户、物品和时间段都必须有一样的维度。
      • 缺点是有了更多的“超参数”需要调整
    • 损失函数
      在一般的分解过程中，我们可以定义“平方差”（Squared Loss），也就是原始数值和预测数值之间的平方差来作为损失函数

求解张量分解

  • 随机梯度下降法（SGD, Stochastic Gradient Descent），也就是把张量的分解问题看作是一个一般的优化问题
  • 另外一种方法，也是在矩阵分解中可以使用的，叫作 ALS（Alternating Least Square）方法
    • 这种方法则是在优化每一轮的时候，按住所有其他的矩阵变量不动，单独优化一个变量

问题：从概念上来看，用张量分解对上下文信息进行建模的最大问题是什么

  • 张量的稀疏性
  • 模型更负责，不易求解