System rekomendacji

Transkrypt

System rekomendacji

System rekomendacji
Piotr Findeisen & Kamil Lenartowicz
16 marca 2009
Google News Algorytmy Ważniak
Spis treści
1
Google News
Wprowadzenie
Korelacja
Covisitation
Klasteryzacja
2
Algorytmy
MinHash
PLSI
Porównanie
3
Ważniak
Wprowadzenie
Algorytm - MinHash
Dane
System rekomendacji
Wprowadzenie Korelacja Covisitation Klasteryzacja
Problem
kilka milionów unikalnych użytkowników w ciagu
˛ kilku dni
System rekomendacji
Problem
˛ kilku dni
kilka milionów wiadomości w ciagu
˛ miesiaca
˛
System rekomendacji
Problem
˛ kilku dni
˛ miesiaca
˛
trzeba zaprezentować użytkownikowi krótka˛ list˛e wybranych
wiadomości
System rekomendacji
Problem
˛ kilku dni
˛ miesiaca
˛
trzeba zaprezentować użytkownikowi krótka˛ list˛e wybranych
wiadomości
U = {u1 , . . . , uN } - użytkownicy
S = {s1 , . . . , sM } - wiadomości
Cu = {si1 , . . . , si|Cu | } - historia klikni˛eć użytkownika u
System rekomendacji
Korelacja
rua ,sk =
X
I(ui ,sk ) w(ua , ui )
i6=a
System rekomendacji
Korelacja
rua ,sk =
X
i6=a
tablica 106 × 106
System rekomendacji
Korelacja
rua ,sk =
X
i6=a
tablica 106 × 106
kosztowne wyliczanie rekomendowanej listy
System rekomendacji
Covisitation
u
t
System rekomendacji
Covisitation
u
t
ru,s =
X
P
s0 ∈Cu0
w(s, s0 )
0 00
s00 w(s , s )
System rekomendacji
Modelowanie danych
rua ,sk ≈
X
w(ua , ci )
ci :ua ∈ci
X
I(uj ,sk )
uj :uj ∈ci
System rekomendacji
Modelowanie danych
rua ,sk ≈
X
w(ua , ci )
ci :ua ∈ci
X
I(uj ,sk )
uj :uj ∈ci
System rekomendacji
Modelowanie danych
rua ,sk ≈
X
w(ua , ci )
ci :ua ∈ci
X
I(uj ,sk )
uj :uj ∈ci
System rekomendacji
MinHash PLSI Porównanie
Jaccard coefficient
Definiuje „miar˛e” podobieństwa zbiorów danych
J (Z1 , Z2 ) =
1
|Z1 ∩Z2 |
|Z1 ∪Z2 |
http://en.wikipedia.org/wiki/Jaccard_index
System rekomendacji
Jaccard coefficient
J (Z1 , Z2 ) =
|Z1 ∩Z2 |
|Z1 ∪Z2 |
Jδ (Z1 , Z2 ) = 1 − J (Z1 , Z2 ) jest metryka˛1
1
System rekomendacji
Jaccard coefficient
J (Z1 , Z2 ) =
|Z1 ∩Z2 |
|Z1 ∪Z2 |
Jδ (Z1 , Z2 ) = 1 − J (Z1 , Z2 ) jest metryka˛1
porównuje arbitralne zbiory danych
1
System rekomendacji
MinHash
Dla Z1 , Z2 , . . . , Zn i losowej permutacji h zbioru
definiujemy
λi = min{j : h(j) ∈ Zi }
System rekomendacji
Sn
i=1 Zi
MinHash
definiujemy
Zi i Zj uznamy za podobne, gdy λi = λj
System rekomendacji
Sn
i=1 Zi
MinHash
definiujemy
czyli z prawdopodobieństwem J (Z1 , Z2 )
System rekomendacji
Sn
i=1 Zi
MinHash
definiujemy
podobieństwo jest relacja˛ równoważności
System rekomendacji
Sn
i=1 Zi
MinHash
definiujemy
podobieństwo jest relacja˛ równoważności
klasy abstrakcji = klastry
System rekomendacji
Sn
i=1 Zi
MinHash – klasteryzacja
Cu ⊆ S – klikni˛ecia użytkownika u
System rekomendacji
h – losowa permutacja S
System rekomendacji
u jest w klastrze ci , gdy i = min{j : h(j) ∈ Cu }
System rekomendacji
u i u0 sa˛ razem w klastrze z prawdopodobieństwem J (Cu , Cu0 )
System rekomendacji
u i u0 sa˛ razem w klastrze z prawdopodobieństwem J (Cu , Cu0 )
Intuicja
“Użytkownik u ma wpływ na użytkownika u0 tak bardzo, jak bardzo
sa˛ podobni.”
System rekomendacji
MinHash – rekomendacja
ru,s =?
P
u0 6=u J (u
0 , u)I
(u0 ,s)
System rekomendacji
ru,s = ...
sumujemy rekomendacje dla wszystkich klastrów użytkownika u
rekomendacja “z klastra”: cz˛estość klikania w s
System rekomendacji
E ru,s =
P
u0 6=u J (u
0 , u)I
(u0 ,s)
ru,s =
X # klikni˛eć w s przez użytkowników z ci
# użytkowników z ci
c :u∈c
i
i
System rekomendacji
E ru,s = O
P
u0 6=u
J (u0 , u)I(u0 ,s)
ru,s =
X # klikni˛eć w s przez użytkowników z ci
# klikni˛eć użytkowników z ci
c :u∈c
i
i
System rekomendacji
PLSI
u ∈ U – użytkownicy, zmienna losowa
System rekomendacji
PLSI
s ∈ S – wiadomości, zmienna losowa
System rekomendacji
PLSI
zwiazek
˛
u i s modelujemy:
z ∈ Z – “ukryta” zmienna losowa, |Z| = L
obliczamy, konstruujemy p(u|z), p(s|z)
z to nasze PLSI-klastry
System rekomendacji
PLSI
zwiazek
˛
u i s modelujemy:
z ∈ Z – “ukryta” zmienna losowa, |Z| = L
obliczamy, konstruujemy p(u|z), p(s|z)
z to nasze PLSI-klastry
ru,s = p(s|u) =
L
X
p(s|z)p(z|u)
z=1
System rekomendacji
PLSI – p(u|z), p(s|z)
PLSI trzeba “nauczyć” – expectation maximalization
System rekomendacji
zestaw danych treningowych {(u1 , s1 ), . . . , (uT , sT )}
System rekomendacji
zminimalizować
T
1X
log (p(st |ut ))
−
T
t=1
System rekomendacji
zminimalizować
T
1X
log (p(st |ut ))
−
T
gdzie p(st |ut ) =
z
t=1
X
System rekomendacji
p(st |z)P(z|ut )
zminimalizować
T
1X
log (p(st |ut ))
−
T
gdzie p(st |ut ) =
z
t=1
daje si˛e zrównoleglić
X
System rekomendacji
p(st |z)P(z|ut )
zminimalizować
T
1X
log (p(st |ut ))
−
T
gdzie p(st |ut ) =
X
p(st |z)P(z|ut )
z
t=1
daje si˛e zrównoleglić
. . . ale nie chcemy ogladać
˛
wzorków w stylu
p̂(s|z)p̂(z|u)
z∈Z p̂(s|z)p̂(z|u)
q∗ (z; u, s; θ̂) := p(z|u, s; θ̂) = P
System rekomendacji
PLSI a MinHash
klastry
max. # klastrów
przynależność
kalibracja
ru,s =
MinHash
PLSI
ci
z=i
|S|
L, np. 1000
{0, 1}
< 0, 1 >
agregacja historii
X
rci ,s
uczenie maszynowe
L
X
p(s|z)p(z|u)
ci :u∈ci
z=1
System rekomendacji
Porównanie
System rekomendacji
Wprowadzenie Algorytm - MinHash Dane
Wprowadzenie
u odwiedził adres X
przeglądarka
u ocenił fragment X +/
ocena fragmentu/URL X dla u
System rekomendacji
serwer
użytkownicy
historia
Wprowadzenie
przeglądarka
uczenie si˛e na bieżaco
˛ tablicy fragmentów/URL
System rekomendacji
serwer
użytkownicy
historia
Wprowadzenie
przeglądarka
serwer
użytkownicy
historia
3 typy oceny materiału (wejście, ocena +1, ocena -1)
System rekomendacji
Wprowadzenie
przeglądarka
serwer
użytkownicy
historia
2 typy zawartości (fragment, URL)
System rekomendacji
Wprowadzenie
przeglądarka
serwer
użytkownicy
historia
2 typy zawartości (fragment, URL)
mały zbiór kandydatów do rekomendacji
System rekomendacji
Algorytm
Permutacja 1
1
Permutacja 2
8
2
2
5
3
7
4
4
5
1
6
3
7
8
6
Modyfikacja MinHash: Każdy użytkownik należy do n klastrów ze
wzgl˛edu na podobieństwo oceniania oraz m klastrów ze wzgl˛edu na
odwiedzanie tych samych stron, przy czym n > m.
System rekomendacji
Algorytm
Użytkownik u wszedł na stron˛e S:
System rekomendacji
Algorytm
obliczam m haszy URL-a S i podmieniam jeśli któryś jest
mniejszy od odpowiadajacego
˛
mu dotychczasowego minimum
S
u
h1 h2 h3 h4
h1 h2 h3 h4
wejścia
h1 h2 h3 h4 h5 h6 h7 h8 h9
ocena
System rekomendacji
Algorytm
obliczam m haszy URL-a S i podmieniam jeśli któryś jest
˛
mu dotychczasowego minimum
S
u
h1 h2 h3 h4
h1 h2 h3 h4
wejścia
h1 h2 h3 h4 h5 h6 h7 h8 h9
ocena
do wszystkich (m + n) klastrów u dodaje 1 klikni˛ecie dla S
System rekomendacji
Algorytm
Użytkownik u ocenił fragment F na stronie S na +/−:
System rekomendacji
Algorytm
obliczam n haszy (F, +/−) i podmieniam jeśli któryś jest
˛
mu hasza ocen
u
F
h1 h2 h3 h4
wejścia
h1 h2 h3 h4 h5 h6 h7 h8 h9
h1 h2 h3 h4 h5 h6 h7 h8 h9
ocena
System rekomendacji
Algorytm
obliczam n haszy (F, +/−) i podmieniam jeśli któryś jest
˛
mu hasza ocen
u
F
h1 h2 h3 h4
wejścia
h1 h2 h3 h4 h5 h6 h7 h8 h9
h1 h2 h3 h4 h5 h6 h7 h8 h9
ocena
do wszystkich (m + n) klastrów u dodaje +/− dla fragmentu F
oraz +/−
k do oceny S gdzie k to liczba fragmentów na stronie S
System rekomendacji
Algorytm
Użytkownik u pyta o ocen˛e fragmentów z listy: F1 , . . . , Fl .
System rekomendacji
Algorytm
pobieram list˛e klastrów użytkownika u: K = {K1 , . . . , Kn+m }
System rekomendacji
Algorytm
dla i ∈< 1, l > obliczam:
ru,Fi =
X ocena(Kj , Fi )
|Kj |
Kj ∈K
System rekomendacji
Algorytm
Użytkownik u pyta o ocen˛e URL-i z listy: S1 , . . . , Sl .
System rekomendacji
Algorytm
System rekomendacji
Algorytm
dla i ∈< 1, l > obliczam:
ru,Si =
X X ∗ ocena(Kj , Si ) + Y ∗ #odwiedzin(Kj , Si )
|Kj |
Kj ∈K
gdzie X, Y stałe.
System rekomendacji
Dane
użytkownik
lista klastrów
lista ocen
lista odwiedzonych stron
System rekomendacji
Dane
użytkownik
lista klastrów
lista ocen
fragment
ocena per klaster (zdenormalizowana)
System rekomendacji
Dane
użytkownik
lista klastrów
lista ocen
fragment
ocena per klaster (zdenormalizowana)
klaster
suma ocen (do normalizacji)
historia? suma po aktualnych członkach klastra?
System rekomendacji

System rekomendacji

Transkrypt

Podobne dokumenty

United Airlines traci miliardy przez pomyłkę Google