机器学习推荐系统（机器学习算法）
本文目录一览：
- 1、推荐系统产品和算法概述丨产品杂谈系列
- 2、如何评价一个好的推荐系统算法 – 我爱机器学习
- 3、07_推荐系统算法详解
- 4、机器学习、数据挖掘、自然语言处理、推荐系统、大数据处理学哪个好？
- 5、机器学习的分类
- 6、推荐系统中用户u的特征向量怎么得来的
推荐系统产品和算法概述丨产品杂谈系列
本文主要是对最近所学的推荐系统的总结，将会简单概述非个性化范式、群组个性化范式、完全个性化范式、标的物关联标的物范式、笛卡尔积范式等5种常用的推荐范式的设计思路。
许多产品的推荐算法都依赖于三类数据：标的物相关的描述信息（如推荐鞋子，则包括鞋子的版型、适用对象、材质等信息、用户画像数据（指的是用户相关数据，如性别、年龄、收入等）、用户行为数据（例如用户在淘宝上的浏览、收藏、购买等）。这三类数据是推荐模型的主要组成部分，除此之外一些人工标注的数据（例如为商品人工打上标签）、第三方数据也能够用于补充上述的三类数据。
服务端在有以上数据的基础上，就可以从三个维度进行推荐：
根据个性化推荐的颗粒度，我们可以将基于用户维度的推荐分为非个性化推荐、群组个性化推荐及完全个性化推荐三种类型。
非个性化推荐指的是每个用户看到的推荐内容都是一样的 在互联网产品中，我们最常见的非个性化推荐的例子是各种排行榜，如下图是酷狗音乐的排行榜推荐，通过各个维度计算各类榜单，不管是谁看到这个榜单，上面的排序和内容都是一致的。
群组个性化推荐指的是将具有相同特征的用户聚合成一组，同一组用户在某些方面具备相似性，系统将为这一组用户推荐一样的内容 。这种推荐方式是很多产品进行用户精细化运营时会采用的方式，通过用户画像系统圈定一批批用户，并对这批用户做统一的运营。例如音乐软件的推荐播放，若以摇滚乐为基准将一批用户聚合成组，则为这些用户提供的每日推荐歌单是相同的内容和顺序，但与另一组爱听民谣的用户相比，两组用户看到的每日推荐内容将是不同的。
完全个性化指的是为每个用户推荐的内容都不一样，是根据每一位用户的行为及兴趣来为用户做推荐，是当今互联网产品中最常用的一种推荐方式 。大多数情况下我们所说的推荐就是指这种形式的推荐，例如淘宝首页的“猜你喜欢”就是一个完全个性化的推荐，千人千面，每个人看到的推荐尚品都不一样。
完全个性化可以只基于用户行为进行推荐，在构建推荐算法时只考虑到用户个人的特征和行为 ，不需要考虑其他用户，这也是最常见的内容推荐方式。除此之外， 还可以基于群组行为进行完全个性化推荐，除了利用用户自身的行为外，还依赖于其他用户的行为构建推荐算法模型 。例如，用户属性和行为相似的一群用户，其中90%的用户买了A商品后也买了B商品，则当剩下的10%用户单独购买B商品时，我们可以为该用户推荐商品A。
基于群组行为进行的完全个性化推荐可以认为是全体用户的协同进化，常见的协同过滤、基于模型的推荐等都属于这类推荐形式。
基于标的物的推荐指的是用户在访问标的物详情页或者退出标的物详情页时，可以根据标的物的描述信息为用户推荐一批相似的或者相关的标的物，对应的是最开始提到的“标的物关联标的物范式” 。如下图酷狗的相似歌曲推荐，
除了音乐产品外，视频网站、电商、短视频等APP都大量使用基于标的物维度的推荐。如下图便是YouTube基于标的物关联标的物的推荐。在YouTube上我观看一个周杰伦的音乐视频时，YouTube在该页面下方为我推荐更多与周杰伦有关的视频。
基于用户和标的物交叉维度的推荐指的是将用户维度和标的物维度结合起来，不同用户访问同一标的物的详情页时看到的推荐内容也不一样，对应的是开头提到的笛卡尔积推荐范式。 拿酷狗音乐对相似歌曲的推荐来举例，如果该推荐采用的是用户和标的物交叉维度的推荐的话，不同用户看到的“没有理想的人不伤心”这首歌曲，下面的相似歌曲是不一样的。拿淘宝举例的话，一样是搜索“裤子”这一关键词，不同的人搜索得到的搜索结果和排序是不同的，可能用户A搜索出来优先展示的是牛仔裤，而用户B优先展示的是休闲裤，淘宝将结合搜索关键词与用户个人的历史行为特征展示对应的搜索结果和排序。
对于基于笛卡尔积推荐范式设计的推荐系统来说，由于每个用户在每个标的物上的推荐列表都不一样，我们是没办法是先将所有组合计算出来并储存（组合过多，数量是非常巨大的），因此对于系统来说，能否在用户请求的过程中快速地为用户计算个性化推荐的标的物列表将会是一个比较大的挑战，对于整个推荐系统的架构也有更高的要求，因此在实际应用中，该种推荐方式用的比较少。
非个性化范式指的是为所有用户推荐一样的标的物列表，常见的各种榜单就是基于此类推荐规则，如电商APP中的新品榜、畅销榜等。排行榜就是基于某个规则来对标的物进行排序，将排序后的部分标的物推荐给用户。例如新品榜是按照商品上架的时间顺序来倒序排列，并将排序在前列的产品推荐给用户。而畅销榜则是按照商品销量顺序降序排列，为用户推荐销量靠前的商品。
根据具体的产品和业务场景，即使同样是非个性化范式推荐，在具体实施时也可能会比较复杂。例如在电商APP中畅销榜的推荐可能还会将地域、时间、价格等多个维度纳入考虑范围内，基于每个维度及其权重进行最终的排序推荐。
大部分情况下，非个性化范式推荐可以基于简单的计数统计来生成推荐，不会用到比较复杂的机器学习算法，是一种实施门槛较低的推荐方式。基于此，非个性化范式推荐算法可以作为产品冷启动或者默认的推荐算法。
完全个性化范式是目前的互联网产品中最常用的推荐模式，可用的推荐方法非常多。下面对常用的算法进行简单梳理。
该推荐算法只需要考虑到用户自己的历史行为而不需要考虑其他用户的行为，其核心思想是：标的物是有描述属性的，用户对标的物的操作行为为用户打上了相关属性的烙印，这些属性就是用户的兴趣标签，那么我们就可以基于用户的兴趣来为用户生成推荐列表。还是拿音乐推荐来举例子，如果用户过去听了摇滚和民谣两种类型的音乐，那么摇滚和民谣就是这个用户听歌时的偏好标签，此时我们就可以为该用户推荐更多的摇滚类、民谣类歌曲。
基于内容的个性化推荐在实操中有以下两类方式。
第一种是基于用户特征标识的推荐。
标的物是有很多文本特征的，例如标签、描述信息等，我们可以将这些文本信息基于某种算法转化为特征向量。有了标的物的特征向量后，我们可以将用户所有操作过的标的物的特征向量基于时间加权平均作为用户的特征向量，并根据用户特征向量与标的物特征向量的乘积来计算用户与标的物的相似度，从而计算出该用户的标的物推荐列表。
第二种是基于倒排索引查询的推荐。
如果我们基于标的物的文本特征（如标签）来表示标的物属性，那么基于用户对该标的物的历史行为，我们可以构建用户画像，该画像即是用户对于各个标签的偏好，并且对各个标签都有相应的偏好权重。
在构建完用户画像后，我们可以基于标签与标的物的倒排索引查询表，以标签为关键词，为用户进行个性化推荐。
举个粗暴的例子，有歌曲A、B、C分别对应摇滚、民谣、古风三个音乐标签，我听了歌曲A、B，则在我身上打了摇滚和民谣的标签，又基于我听这两个歌曲的频率，计算了我对“摇滚”和“民谣”的偏好权重。
在倒排索引查询表中，摇滚和民谣又会分别对应一部分歌曲，所以，可以根据我对摇滚和民谣的偏好权重从查询表中筛选一部分歌曲并推荐给我。
基于倒排索引查询的推荐方式是非常自然直观的，只要用户有一次行为，我们就可以据此为用户进行推荐。但反过来，基于用户兴趣给用户推荐内容，容易局限推荐范围，难以为用户推荐新颖的内容。
基于协同过滤的推荐算法，核心思想是很朴素的”物以类聚、人以群分“的思想。所谓物以类聚，就是计算出每个标的物最相似的标的物列表，我们就可以为用户推荐用户喜欢的标的物相似的标的物，这就是基于物品的协同过滤。所谓人以群分，就是我们可以将与该用户相似的用户喜欢过的标的物(而该用户未曾操作过)的标的物推荐给该用户，这就是基于用户的协同过滤。
常见的互联网产品中，很多会采用基于标的物的协同过滤，因为相比之下用户的变动概率更大，增长速度可能较快，这种情况下，基于标的物的协同过滤算法将会更加的稳定。
协同过滤算法思路非常简单直观，也易于实现，在当今的互联网产品中应用广泛。但协同过滤算法也有一些难以避免的问题，例如产品的冷启动阶段，在没有用户数据的情况下，没办法很好的利用协同过滤为用户推荐内容。例如新商品上架时也会遇到类似的问题，没有收集到任何一个用户对其的浏览、点击或者购买行为，也就无从基于人以群分的概念进行商品推荐。
基于模型的推荐算法种类非常多，我了解到的比较常见的有迁移学习算法、强化学习算法、矩阵分解算法等，且随着近几年深度学习在图像识别、语音识别等领域的进展，很多研究者和实践者也将其融入到推荐模型的设计当中，取得了非常好的效果。例如阿里、京东等电商平台，都是其中的佼佼者。
由于该算法涉及到比较多的技术知识，在下也处于初步学习阶段，就不班门弄斧做过多介绍了，有兴趣的朋友可以自行进行学习。
群组个性化推荐的第一步是将用户分组，因此，采用什么样的分组原则就显得尤为重要。常见的分组方式有两种。
先基于用户的人口统计学数据（如年龄、性别等）或者用户行为数据（例如对各种不同类型音乐的播放频率）构建用户画像。用户画像一般用于做精准的运营，通过显示特征将一批人圈起来形成同一组，对这批人做针对性的运营。因为前头已经提到此算法，这里不再重复介绍。
聚类是非常直观的一种分组思路，将行为偏好相似的用户聚在一起成为一个组，他们有相似的兴趣。常用的聚类策略有如下两类。
标的物关联标的物就是为每个标的物推荐一组标的物。该推荐算法的核心是怎么从一个标的物关联到其他的标的物。这种关联关系可以是相似的（例如嘉士伯啤酒和喜力啤酒），也可以是基于其他维度的关联（例如互补品，羽毛球拍和羽毛球）。常用的推荐策略是相似推荐。下面给出3种常用的生成关联推荐的策略。
这类推荐方式一般是利用已知的数据和标的物信息来描述一个标的物，通过算法的方式将其向量化，从而根据不同标的物向量之间的相似度来急速标的物之间的相似度，从而实现相识标的物的推荐。
在一个成熟的产品中，我们可以采集到的非常多的用户行为，例如在电商平台中，我们可以手机用户搜索、浏览、收藏、点赞等行为，这些行为就代表了用户对某个标的物的某种偏好，因此，我们可以根据用户的这些行为来进行关联推荐。
例如，可以将用户的行为矩阵分解为用户特征矩阵和物品特征矩阵，物品特征矩阵可以看成是衡量物品的一个向量，利用该向量我们就可以计算两个标的物之间的相似度了，从而为该用户推荐相似度高的其他产品。
再例如， 采用购物篮的思路做推荐，这种思路非常适合图书、电商等的推荐 。 以电商为例，我们可以把用户经常一起浏览(或者购买)的商品形成一个列表，将过去一段时间所有的列表收集起来。对于任何一个商品，我们都可以找到与它一起被浏览或者购买的其他商品及其次数，并根据次数来判断其关联性，从而进行关联推荐。
我们可以对用户进行分组，同样，我们也能够对标的物进行聚类分组。通过某位参考维度，我们将一些列具有相似性的标的物分成一组，当我们为用户进行推荐的时候，便可以将同一组内的其他标的物作为推荐对象，推荐给用户。
笛卡尔积范式的推荐算法一般是先采用标的物关联标的物范式计算出待推荐的标的物列表。再根据用户的兴趣来对该推荐列表做调整（例如根据不同兴趣的权重重新调整推荐列表的排序）、增加（例如基于个性化增加推荐对象）、删除（例如过滤掉已经看过的），由于其复杂程度较高在实际业务场景中应用较少，这边不再详细介绍。
好了，本次的介绍就到此为止了。本次主要是做了一个非常简单的推荐算法概述，在实际的业务场景中，还经常需要与产品形态或者更多的未读（如时间、地点等）相结合，是一个很有意思的领域，有兴趣的朋友可以进一步了解。
如何评价一个好的推荐系统算法 – 我爱机器学习
如何更好地掌握机器学习Colorado是伯克利大学的在读博士，同时也是Metacademy的创始人。Metacademy是一个优秀的开源平台，许多专业人员共同在这个平台上编写wiki文章。目前，这些文章主要围绕着机器学习和人工智能这两个主题。在Colorado的建议中，更好地学习机器学习的方法就是不断的通过书本学习。他认为读书的目的就是让心中有书。一个博士在读生给出这样的建议并不令人惊讶，以前本站可能还推荐过类似的建议。这个建议还可以，但我不认为适用每个人。如果你是个开发者，想实现机器学习的算法。下面列出的书籍是一个很好的参考，可以从中逐步学习。机器学习路线图他的关于机器学习的路线图分为5个级别，每个级别都对应一本书必须要掌握的书。这5个级别如下：Level0（新手）：阅读《DataSmart:UsingDataSciencetoTransformInformationintoInsight》。需要了解电子表格、和一些算法的高级数据流。Level1（学徒）：阅读《MachineLearningwithR》。学习在不同的情况下用R语言应用不同的机器学习算法。需要一点点基本的编程、线性代数、微积分和概率论知识。Level2（熟练工）：阅读《PatternRecognitionandMachineLearning》。从数学角度理解机器学习算法的工作原理。理解并调试机器学习方法的输出结果，同时对机器学习的概念有更深的了解。需要有算法、较好的线性代数、一些向量积分、一些算法实现经验。Level3（大师）：阅读《ProbabilisticGraphicalModels:PrinciplesandTechniques》。深入了解一些高级主题，如凸优化、组合优化、概率论、微分几何，及其他数学知识。深入了解概率图模型，了解何时应该使用以及如何解释其输出结果。Leval4（宗师）：随便去学吧，记得反馈社区。Colorado针对每个级别中列出的书中章节阅读建议，并给出了建议去了解的相关顶级项目。Colorado后来重新发布了一篇博客，其中对这个路线图做了一点修改。他移除了最后一个级别，并如下定义了新的级别：好奇者、新手、学徒、熟练工、大师。他说道，Level0中的机器学习好奇者不应该阅读相关书籍，而是浏览观看与机器学习有关的顶级视频。机器学习中被忽视的主题ScottLocklin也阅读了Colorado的那篇博客，并从中受到了启发，写了一篇相应的文章，名为“机器学习中被忽视的想法”（文中有BorisArtzybasheff绘制的精美图片）。Scott认为Colorado给出的建议并没有充分的介绍机器学习领域。他认为很少有书籍能做到这一点，不过他还是喜欢PeterFlach所著的《MachineLearning:TheArtandScienceofAlgorithmsthatMakeSenseofData》这本书，因为书中也接触了一些隐晦的技术。Scott列出了书本中过分忽视的内容。如下所示：实时学习：对流数据和大数据很重要，参见VowpalWabbit。强化学习：在机器人方面有过讨论，但很少在机器学习方面讨论。“压缩”序列预测技术：压缩数据发现学习模式。参见CompLearn。面向时间序列的技术。一致性预测：为实时学习精确估计模型。噪声背景下的机器学习：如NLP和CV。特征工程：机器学习成功的关键。无监督和半监督学习。这个列表很好的指出了机器学习中没有注意到的领域。最后要说明的是，我自己也有一份关于机器学习的路线图。与Colorado一样，我的路线图仅限于分类/回归类型的监督机器学习，但还在完善中，需要进一步的调查和添加所有感兴趣的主题。与前面的“读这些书就可以了”不同，这个路线图将会给出详细的步骤。
07_推荐系统算法详解
基于人口统计学的推荐与用户画像、基于内容的推荐、基于协同过滤的推荐。
1、基于人口统计学的推荐机制( Demographic-based Recommendation)是一种最易于实现的推荐方法，它只是简单的根据系统用户的基本信息发现用户的相关程度，然后将相似用户喜爱的其他物品推荐给当前用户。
2、对于没有明确含义的用户信息(比如登录时间、地域等上下文信息)，可以通过聚类等手段，给用户打上分类标签。
3、对于特定标签的用户，又可以根据预设的规则(知识)或者模型，推荐出对应的物品。
4、用户信息标签化的过程一般又称为 用户画像 ( User Profiling）。
（1）用户画像( User Profile)就是企业通过收集与分析消费者社会属性、生活习惯、消费行为等主要信息的数据之后，完美地抽象出一个用户的商业全貌作是企业应用大数据技术的基本方式。
（2）用户画像为企业提供了足够的信息基础，能够帮助企业快速找到精准用户群体以及用户需求等更为广泛的反馈信息。
（3）作为大数据的根基，它完美地抽象出一个用户的信息全貌，为进一步精准、快速地分析用户行为习惯、消费习惯等重要信息，提供了足够的数据基础。
1、 Content- based Recommendations(CB)根据推荐物品或内容的元数据，发现物品的相关性，再基于用户过去的喜好记录，为用户推荐相似的物品。
2、通过抽取物品内在或者外在的特征值,实现相似度计算。比如一个电影,有导演、演员、用户标签UGC、用户评论、时长、风格等等，都可以算是特征。
3、将用户(user)个人信息的特征(基于喜好记录或是预设兴趣标签)，和物品(item)的特征相匹配，就能得到用户对物品感兴趣的程度。在一些电影、音乐、图书的社交网站有很成功的应用,有些网站还请专业的人员对物品进行基因编码/打标签(PGC）。
4、 相似度计算：
5、对于物品的特征提取——打标签(tag)
- 专家标签(PGC）
- 用户自定义标签(UGC)
- 降维分析数据,提取隐语义标签(LFM)
对于文本信息的特征提取——关键词
- 分词、语义处理和情感分析(NLP)
- 潜在语义分析(LSA）
6、 基于内容推荐系统的高层次结构
7、 特征工程
（1）特征( feature)：数据中抽取出来的对结果预测有用的信息。
特征的个数就是数据的观测维度。
特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。
特征工程一般包括特征清洗(采样、清洗异常样本)，特征处理和特征选择。
特征按照不同的数据类型分类，有不同的特征处理方法：数值型、类别型、时间型、统计型。
（2）数值型特征处理
用连续数值表示当前维度特征，通常会对数值型特征进行数学上的处理，主要的做法是归一化和离散化。
* 幅度调整归一化：
特征与特征之间应该是平等的，区别应该体现在 特征内部 。
例如房屋价格和住房面积的幅度是不同的，房屋价格可能在3000000~15000000(万)之间,而住房面积在40-300(平方米)之间，那么明明是平等的两个特征，输入到相同的模型中后由于本身的幅值不同导致产生的效果不同，这是不合理的
* 数值型特征处理——离散化
离散化的两种方式：等步长——简单但不一定有效；等频——min - 25% - 75% - max
两种方法对比：
等频的离散化方法很精准，但需要每次都对数据分布进行一遍从新计算，因为昨天用户在淘宝上买东西的价格分布和今天不一定相同，因此昨天做等频的切分点可能并不适用，而线上最需要避免的就是不固定，需要现场计算，所以昨天训练出的模型今天不一定能使用。
等频不固定，但很精准，等步长是固定的，非常简单，因此两者在工业上都有应用。
（3） 类别型特征处理
类别型数据本身没有大小关系，需要将它们编码为数字，但它们之间不能有预先设定的大小关系，因此既要做到公平，又要区分开它们，那么直接开辟多个空间。
One-Hot编码/哑变量：One-Hot编码/哑变量所做的就是将类别型数据平行地展开，也就是说，经过One-Hot编码哑变量后，这个特征的空间会膨胀。
（4） 时间型特征处理
时间型特征既可以做连续值,又可以看做离散值。
连续值：持续时间(网页浏览时长)；间隔时间(上一次购买/点击离现在的时间间隔)。
离散值：一天中哪个时间段；一周中的星期几；一年中哪个月/星期；工作日/周末。
（5） 统计型特征处理
加减平均：商品价格高于平均价格多少，用户在某个品类下消费超过多少。
分位线：商品属于售出商品价格的分位线处。
次序性：商品处于热门商品第几位。
比例类：电商中商品的好/中/差评比例。
8、 推荐系统常见反馈数据 ：
9、 基于UGC的推荐
用户用标签来描述对物品的看法，所以用户生成标签(UGC)是联系用户和物品的纽带，也是反应用户兴趣的重要数据源。
一个用户标签行为的数据集一般由一个三元组(用户,物品,标签)的集合表示，其中一条记录(u,i,b)表示用户u给物品打上了标签b。
一个最简单的算法：
- 统计每个用户最常用的标签
- 对于每个标签,统计被打过这个标签次数最多的物品
- 对于一个用户，首先找到他常用的标签，然后找到具有这些标签的最热门的物品，推荐给他
- 所以用户u对物品i的兴趣公式为 ，其中 使用户u打过标签b的次数， 是物品i被打过标签b的次数。
简单算法中直接将用户打出标签的次数和物品得到的标签次数相乘，可以简单地表现出用户对物品某个特征的兴趣。
这种方法倾向于给热门标签(谁都会给的标签,如“大片”、“搞笑”等)、热门物品(打标签人数最多)比较大的权重，如果一个热门物品同时对应着热门标签,那它就会“霸榜”，推荐的个性化、新颖度就会降低。
类似的问题,出现在新闻内容的关键字提取中。比如以下新闻中,哪个关键字应该获得更高的权重?
10、 TF-IDF：词频逆文档频率 ( Term Frequency- -Inverse Document Frequency,TF-DF)是一种用于资讯检索与文本挖掘的常用加权技术。
TFDF是一种统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
TFIDF=TF IDF
TF-IDF的主要思想是 ：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
TF-DF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。
词频( Term Frequency,TF) ：指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数的归一化，以防止偏向更长的文件。(同一个词语在长文件里可能会比短文件有更高的词数,而不管该词语重要与否。） ，其中 表示词语 i 在文档 j 中出现的频率， 表示 i 在 j 中出现的次数， 表示文档 j 的总词数。
逆向文件频率( Inverse Document Frequency,IDF) ：是一个词语普遍重要性的度量，某一特定词语的IDF，可以由总文档数目除以包含该词语之文档的数目，再将得到的商取对数得到 ，其中 表示词语 i 在文档集中的逆文档频率，N表示文档集中的文档总数， 表示文档集中包含了词语 i 的文档数。
（11） TF-IDF对基于UGC推荐的改进 ： ，为了避免热门标签和热门物品获得更多的权重，我们需要对“热门进行惩罚。
借鉴TF-IDF的思想，以一个物品的所有标签作为“文档”，标签作为“词语”，从而计算标签的“词频”(在物品所有标签中的频率)和“逆文档频率”(在其它物品标签中普遍出现的频率）。
由于“物品i的所有标签” 应该对标签权重没有影响，而 “所有标签总数” N 对于所有标签是一定的，所以这两项可以略去。在简单算法的基础上,直接加入对热门标签和热门物品的惩罚项： ，其中， 记录了标签 b 被多少个不同的用户使用过， 记录了物品 i 被多少个不同的用户打过标签。
（一）协同过滤（Collaborative Filtering, CF）
1、基于协同过滤(CF)的推荐：基于内容( Content based,CB)主要利用的是用户评价过的物品的内容特征，而CF方法还可以利用其他用户评分过的物品内容。
CF可以解决CB的一些局限：
- 物品内容不完全或者难以获得时,依然可以通过其他用户的反馈给出推荐。
- CF基于用户之间对物品的评价质量，避免了CB仅依赖内容可能造成的对物品质量判断的干。
- CF推荐不受内容限制，只要其他类似用户给出了对不同物品的兴趣，CF就可以给用户推荐出内容差异很大的物品(但有某种内在联系)
分为两类：基于近邻和基于模型。
2、基于近邻的推荐系统：根据的是相同“口碑”准则。是否应该给Cary推荐《泰坦尼克号》?
（二）基于近邻的协同过滤
1、 基于用户（User-CF）： 基于用户的协同过滤推荐的基本原理是，根据所有用户对物品的偏好，发现与当前用户口味和偏好相似的“邻居”用户群，并推荐近邻所偏好的物品。
在一般的应用中是采用计算“K-近邻”的算法；基于这K个邻居的历史偏好信息，为当前用户进行推荐。
User-CF和基于人口统计学的推荐机制：
- 两者都是计算用户的相似度，并基于相似的“邻居”用户群计算推荐。
- 它们所不同的是如何计算用户的相似度：基于人口统计学的机制只考虑用户本身的特征，而基于用户的协同过滤机制可是在用户的历史偏好的数据上计算用户的相似度，它的基本假设是，喜欢类似物品的用户可能有相同或者相似的口味和偏好。
2、基于物品（Item-CF）：基于项目的协同过滤推荐的基本原理与基于用户的类似，只是使用所有用户对物品的偏好，发现物品和物品之间的相似度，然后根据用户的历史偏好信息，将类似的物品推荐给用户。
Item-CF和基于内容(CB)的推荐
- 其实都是基于物品相似度预测推荐，只是相似度计算的方法不一样，前者是从用户历史的偏好推断，而后者是基于物品本身的属性特征信息。
同样是协同过滤，在基于用户和基于项目两个策略中应该如何选择呢?
- 电商、电影、音乐网站,用户数量远大于物品数量。
- 新闻网站，物品(新闻文本)数量可能大于用户数量。
3、 User-CF和Item-CF的比较
同样是协同过滤，在User-CF和ltem-CF两个策略中应该如何选择呢？
Item-CF应用场景
- 基于物品的协同过滤( Item-CF ) 推荐机制是 Amazon在基于用户的机制上改良的一种策略因为在大部分的Web站点中，物品的个数是远远小于用户的数量的，而且物品的个数和相似度相对比较稳定，同时基于物品的机制比基于用户的实时性更好一些，所以 Item-CF 成为了目前推荐策略的主流。
User-CF应用场景
- 设想一下在一些新闻推荐系统中，也许物品一一也就是新闻的个数可能大于用户的个数，而且新闻的更新程度也有很快，所以它的相似度依然不稳定，这时用 User-cf可能效果更好。
所以，推荐策略的选择其实和具体的应用场景有很大的关系。
4、 基于协同过滤的推荐优缺点
（1）基于协同过滤的推荐机制的优点：
它不需要对物品或者用户进行严格的建模，而且不要求对物品特征的描述是机器可理解的，所以这种方法也是领域无关的。
这种方法计算出来的推荐是开放的，可以共用他人的经验，很好的支持用户发现潜在的兴趣偏好。
（2）存在的问题
方法的核心是基于历史数据，所以对新物品和新用户都有“冷启动”的问题。
推荐的效果依赖于用户历史好数据的多少和准确性。
在大部分的实现中，用户历史偏好是用稀疏矩阵进行存储的，而稀疏矩阵上的计算有些明显的问题，包括可能少部分人的错误偏好会对推荐的准确度有很大的影响等等。
对于一些特殊品味的用户不能给予很好的推荐。
（三）基于模型的协同过滤
1、基本思想
（1）用户具有一定的特征，决定着他的偏好选择
（2）物品具有一定的特征，影响着用户需是否选择它。
（3）用户之所以选择某一个商品，是因为用户特征与物品特征相互匹配。
基于这种思想，模型的建立相当于从行为数据中提取特征，给用户和物品同时打上“标签”；这和基于人口统计学的用户标签、基于内容方法的物品标签本质是一样的，都是特征的提取和匹配。
有显性特征时(比如用户标签、物品分类标签)我们可以直接匹配做出推荐；没有时，可以根据已有的偏好数据，去发据出隐藏的特征,这需要用到隐语义模型(LFM)。
2、基于模型的协同过滤推荐，就是基于样本的用户偏好信息，训练一个推荐模型,然后根据实时的用户喜好的信息进行预测新物品的得分，计算推荐
基于近邻的推荐和基于模型的推荐
- 基于近邻的推荐是在预测时直接使用已有的用户偏好数据，通过近邻数据来预测对新物品的偏好(类似分类)
- 而基于模型的方法，是要使用这些偏好数据来训练模型，找到内在规律，再用模型来做预测(类似回归)
训练模型时，可以基于标签内容来提取物品特征，也可以让模型去发据物品的潜在特征；这样的模型被称为 隐语义模型 ( Latent Factor Model,LFM)。
（1）隐语义模型(LFM)：用隐语义模型来进行协同过滤的目标：
- 揭示隐藏的特征,这些特征能够解释为什么给出对应的预测评分
- 这类特征可能是无法直接用语言解释描述的,事实上我们并不需要知道,类似“玄学”
通过矩阵分解进行降维分析
- 协同过滤算法非常依赖历史数据，而一般的推荐系统中，偏好数据又往往是稀疏的；这就需要对原始数据做降维处理。
- 分解之后的矩阵，就代表了用户和物品的隐藏特征
隐语义模型的实例：基于概率的隐语义分析(pLSA)、隐式迪利克雷分布模型(LDA)、矩阵因子分解模型(基于奇异值分解的模型,SVD)
（2）LFM降维方法——矩阵因子分解
（3）LFM的进一步理解
我们可以认为，用户之所以给电影打出这样的分数，是有内在原因的，我们可以挖掘出影响用户打分的隐藏因素，进而根据未评分电影与这些隐藏因素的关联度，决定此未评分电影的预测评分。
应该有一些隐藏的因素，影响用户的打分，比如电影：演员、题材、年代…甚至不定是人直接可以理解的隐藏因子。
找到隐藏因子，可以对user和Iiem进行关联(找到是由于什么使得user喜欢/不喜欢此Item,什么会决定user喜欢/不喜欢此item)，就可以推测用户是否会喜欢某一部未看过的电影。
（4）矩阵因子分解
（5）模型的求解——损失函数
（6）模型的求解算法——ALS
现在，矩阵因子分解的问题已经转化成了一个标准的优化问题，需要求解P、Q，使目标损失函数取最小值。
最小化过程的求解，一般采用随机梯度下降算法或者交替最小二乘法来实现交替最小二乘法( Alternating Least Squares,ALS)
ALS的思想是，由于两个矩阵P和Q都未知,且通过矩阵乘法耦合在一起，为了使它们解耦，可以先固定Q，把P当作变量，通过损失函数最小化求出P，这就是一个经典的最小二乘问题；再反过来固定求得的P，把Q当作变量，求解出Q：如此交替执行，直到误差满足阅值条件，或者到达迭代上限。
（7）梯度下降算法
机器学习、数据挖掘、自然语言处理、推荐系统、大数据处理学哪个好？
机器学习吧，数据挖掘有一些机器学习的内容，又有一些统计学的内容，推荐系统需要数据挖掘、机器学习、计算机的内容，大数据其实需要利用到机器学习和数据挖掘的内容，自然语言处理也需要用到机器学习、数据挖掘、语义学的内容等。我推荐学习机器学习，因为这个很基础，但是很实用，就像编程语言中的C语言那样，很基础，但是学通了就可以运用很广。
采纳吧！
机器学习的分类
常见的机器学习分类包括：有监督学习，无监督学习，半监督学习。另外有一些著名的机器学习分支包括推荐系统，增强学习等。系统的学习的话，可以去coursera上看Andrew Ng的课程。
推荐系统中用户u的特征向量怎么得来的
在多数数据和机器学习的 blog 里，特征工程 Feature Engineering 都很少被提到。做模型的或者搞 Kaggle 比赛的人认为这些搞 feature 工作繁琐又不重要不如多堆几个模型，想入手实际问题的小朋友又不知道怎么提取 feature 来建模型。我就用个性化推荐系统做个例子，简单说说特征工程在实际的问题里是怎么做。定义特征工程 Feature Engineering 在一篇 Kaggle blogblog/2014/08/01/learning-from-the-best/上有很好的定义：By feature engineering, I mean using domain specific knowledge or automatic methods for generating, extracting, removing or altering features in the data set/wiki/Recommender_system具体不赘述，以下的要点也尽量点到为止，否则这篇又成了收藏了 Mark 了但是不会读的冗余长文。以下如果不特别指出，我就用推荐系统作为个性化商品推荐系统的简称。简单来说，推荐系统就是你买了商品A，我们给你算出来个推荐列表 B C D E 等等。商业上来说个性化的推荐比一般化的推荐更能吸引顾客点击或购买，所以利用特征功能提取这些个性化的特征放到推荐模型里就很重要，比如在我们的推荐系统里，把品牌的特征加进去，相对于 baseline 提高了 20% 左右的 nDCG。推荐系统可以是机器学习的模型也可以是基于关联或者统计规则的模型，对后者来说特征对推荐效果的提升占的比重更大。利用领域知识生成和提取特征这几乎是特征工程里占大半时间的工作了：如何描述个性化并且用变量表示成特征。一般方法就是，想想你就是该商品的目标用户，你会想要什么样的个性化。这部分工作需要很多领域知识，一般需要一组的研究人员讨论，要认真的思考这个特定问题有些什么和别的问题不同的特征，也建议和市场部销售部等有领域知识的专家讨论。经验上来说，这些特征提取的越多越好，并不用担心特征过多，因为推荐系统的数据量都比较大，并且基于一些规则可以很好的筛选特征。很多机器学习的方法也可以拿来提取一些比较不容易得到的直接特征，比如说原始数据里面没有人工标记过商品的颜色，这些颜色可以通过图像识别得到。统计规则也可以从销售数据里得到一些特征，比如该商品的流行程度。注意，这些特征可能是固定不变的，比如颜色，品牌等。它也有可能随着时间变化，比如商品的销售排名。实际经验来说，时间变化采样的颗粒度要按照实际推荐效果来决定，很可能过去三个月的销售排名对推荐效果来说可以很稳定，也或许昨天的排名对今天的推荐效果比三个月平均更好。特征的表达大家都知道特征可以是红绿蓝这些离散特征，也可以是 1.57 这样的连续值特征。一个特征具体如何表达，要看在它在具体模型上怎么用。某些特定问题更倾向于离散特征，因为像推荐系统这样数据很大的情况可以利用模型训练这些特征得到比连续值表达更好的效果。比如说，商品的流行度可以是一个特征，因为对于某些流行的商品大家都抢着买，喜欢跟风买热门商品这一特性可以作为推荐的特征。我们可以按照销量排名然后归一化得到每个商品的流行度值，但是直接用这个连续值会有一些问题，比如说用户甲买了流行度分数为 0.75 0.5 0.2 0.1 的四个商品，用户乙买了流行度为 0.7 的一个商品，他们两个怎么比？如果还记得算法书上说的，定义几个桶 buckets，把流行度分到这几个 buckets 里面，可以解决这个问题。比如定义三个桶：很流行1-0。95，较流行 0.95-0.75，普通 0.75-0.4。这样用户甲的特征就是［0，1，1］用户乙的特征就是［0，1，0］，这样你的推荐模型就可以做一些对比他们俩的相似度或者其他推荐计算了。顺道提一下就是，为什么在这里直接把 0.4 之后的丢掉了以及为什么取了三个 buckets。这个要看具体问题里面具体特征的用处。如果这个模型是学习训练出来的，可以用一些 feature selection 的办法自动去掉一些不需要的 bucket。对于那些不是学习出来的模型比如是简单的相似性模型，按照实际推荐效果思考一下用户的行为特征，需要丢弃一些特征。我之前包含过 0.4 以下的部分但是实际测试的时候发现推荐结果会恶化，也就是说对于我们的问题，用户喜欢跟风买热门的，但是不喜欢一直买冷门的。特征需要按照实际购买数据进行修正和理解。三个 buckets 是我们系统里效果最好的。一个比较高级的例子是 Facebook 在他们的 Machine Learning meetup 上提到的推荐 News feed 的特征。每个用户对于其他用户的 news 的点赞和留言以及其他的动作都会得到一个评价值，这是一系列的连续值，直接拿来训练模型效果不好。他们的做法是做了一个简单的决策树，训练的输入是这些连续值，训练目标是看对于用户A是否应该显示用户B的 news 。这个决策树显然很粗糙，但是树的每个叶子节点可以成为一个特征，那么这些叶子节点就可以当作用户A的特征向量，拿来训练其他模型比如 Logistic Regression，效果不错。
