# LuckyDan

## 《集体智慧编程学习笔记》——Chapter2:提供推荐

1. 协作型过滤——Collaboraive Filtering

通常的做法是对一群人进行搜索，并从中找出与我们品味相近的一小群人，算法会对这些人的偏好进行考察，并将它们组合起来构造出一个经过排名的推荐列表

2.搜索偏好——Collecting Preferences

3.寻找相近的用户——Finding Similar Users

3.1 通过相似度评价值来寻找相近的用户

3.2 相似度评价值体系：欧几里得距离（Euclidean Distance ），皮尔逊相关度（Pearson Collelation）曼哈顿距离和Jaccard系数等

  1 # !/usr/bin/local/python3
2 # -*- coding utf-8 -*-
3 from math import sqrt
4
5 # prepare data
6 critics = {'Lisa Rose':{'Lady in the Water': 2.5, 'Snakes on a Plane': 3.5,
7                         'Just My Luck': 3.0, 'Superman Returns': 3.5, 'You,Me and Dupree': 2.5,
8                         'The Night Listener': 3.0},
9            'Gene Seymour': {'Lady in the Water': 3.0, 'Snakes on a Plane': 3.5, 'Just My Luck': 1.5,
10                             'Superman Returns': 5.0, 'The Night Listener': 3.0, 'You,Me and Dupree': 3.5},
11            'Michale Phillips': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.0, 'Superman Returns': 3.5,
12                                 'The Night Listener': 4.0},
13            'Claudia Puig': {'Snakes on a Plane': 3.5, 'Just My Luck': 3.0, 'The Night Listener': 4.5,
14                             'Superman Returns': 4.0,'You,Me and Dupree': 2.5},
15            'Mick LaSalle': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0, 'Just My Luck': 2.0,
16                             'Superman Returns': 3.0, 'The Night Listener': 3.0,'You,Me and Dupree': 2.0},
17            'Jack Mattews': {'Lady in the Water': 3.0, 'Snakes on a Plane': 5.0, 'The Night Listener': '3.0',
18                             'Superman Returns': 5.0, 'You,Me and Dupree': 3.5},
19            'Toby': {'Snakes on a Plane': 4.5, 'You,Me and Dupree': 1.0, 'Superman Returns': 4.0}}
20
21
22 # 测试数据
23 #data =critics['Lisa Rose']['Lady in the Water']
24 #print(data)
25
26 # 返回一个有关P1和P2的基于欧几里得距离的相似度评价
27 def sim_distance(prefs, p1, p2):
28     #　得到共同评价的电影列表
29     si = {}
30     for item in prefs[p1]:
31         if item in prefs[p2]:
32             si[item] = 1
33     # 如果两人没有共同之处,则返回0
34     if len(si) ==0: return 0
35     #　计算所有差值的的平方和
36     sum_of_squares = sum([pow(prefs[p1][item]-prefs[p2][item], 2) for item in prefs[p1]
37                           if item in prefs[p2]])
38 　　 # 表示偏好越相近，返回的值越大，（避免被零整除的错误，当返回为1表示两人具有一样的偏好）
39     return 1/(1+sqrt(sum_of_squares))
40
41
42 # 返回p1和p2的皮尔逊相关系数
43 def sim_pearson(prefs, p1, p2):
44     si={}
45     for item in prefs[p1]:
46         if item in prefs[p2]:
47             si[item] = 1
48
49     n = len(si)
50
51     if n == 0: return 1
52     #　求所有偏好之和
53     sum1 = sum([prefs[p1][it] for it in si])
54     sum2 = sum([prefs[p2][it] for it in si])
55
56     # 求偏好平方和
57     sum1Sq = sum([pow(prefs[p1][it], 2) for it in si])
58     sum2Sq = sum([pow(prefs[p2][it], 2) for it in si])
59
60     # 求两人偏好乘积之和
61     pSum = sum([prefs[p1][it] * prefs[p2][it] for it in si])
62
63     # 计算皮尔逊评价值
64     num = pSum - (sum1*sum2/n)
65     den = sqrt((sum1Sq-pow(sum1, 2)/n)*(sum2Sq-pow(sum2, 2)/n))
66     if den == 0: return 0
67 　　 # 返回值介于-1和1之间，值为1则表示两个人对每一样物品均有着完全一致的评价
68     r = num/den
69     return r
70
71
72 #   从反映偏好的字典中返回最为匹配者
73 # 　返回结果的个数和相似度函数均为可选参数
74 def topMatches(prefs, person, n=5, similarity=sim_pearson):
75     scores = [(similarity(prefs, person, other), other) for other in prefs if other != person]
76
77     # 对表进行排序,评价值最高的排在最前面
78     scores.sort()
79     scores.reverse()
80     return scores[0:n]
81
82
83 # 利用所有他人评价值的加权平均,为某人提供建议
84 def getRecommendations(prefs, person, similarity=sim_pearson):
85     totals = {}
86     simSum = {}
87     for other in prefs:
88         #　不和自己作比较
89         if other == person: continue
90         #　获取两人之间的相似度
91         sim = similarity(prefs, person, other)
92
93         # 忽略评价值小于零或者为零的情况
94         if sim <= 0: continue
95         for item in prefs[other]:
96             # 只对自己未看过的电影进行评价
97             if item not in prefs[person] or prefs[person][item] == 0:
98                 # 相似度*评价值
99                 totals.setdefault(item, 0)
100                 totals[item] += sim * float(prefs[other][item])
101                 # 相似度之和(多人评价对于特定电影的相似度之和)
102                 simSum.setdefault(item, 0)
103                 simSum[item] += sim
104
105     # 建立一个归一化的列表
106     rankings = [(total/simSum[item], item) for item, total in totals.items()]
107     print(simSum)
108     # 返回经过排序的列表
109     rankings.sort()
110     rankings.reverse()
111     return rankings
112
113
114 #　将人名和物品进行对调
115 def transforPrefs(prefs):
116     result = {}
117     for person in prefs:
118         for item in prefs[person]:
119             result.setdefault(item,{})
120             result[item][person] = prefs[person][item]
121     return result

1.相似性度量方法的选择问题：

1.1  当采用Pearson方法进行评价时，它修正了‘夸大分值’的情况

1.2 当采用Euclidean Distance方法进行评价时，适用于存在一定共性的数据之间

2.基于用户过滤和基于物品过滤的选择：
2.1 基于用户过滤方法更容易实现，而且无需额外步骤，更适用于规模较小的变化非常频繁的内存数据集

2.2 基于物品过滤明显比基于用户的过滤更快，不过在维护物品相似度表有额外的开销,更适用于稀疏数据集

posted on 2018-03-06 15:55  mywifelidan  阅读(206)  评论(0编辑  收藏  举报