php+mysql 협업 필터링 알고리즘 구현
- 巴扎黑원래의
- 2017-08-15 09:29:122556검색
협업 필터링 추천 알고리즘을 구현하려면 먼저 알고리즘의 핵심 아이디어와 프로세스를 이해해야 합니다. 이 알고리즘의 핵심 아이디어는 다음과 같이 요약할 수 있습니다. a와 b가 동일한 일련의 항목을 좋아한다면(지금은 b를 이웃이라고 부르겠습니다), a는 b가 좋아하는 다른 항목을 좋아할 가능성이 높습니다. 알고리즘의 구현 과정은 다음과 같이 간단하게 요약할 수 있습니다. 1. a가 어떤 이웃을 가지고 있는지 결정합니다. 2. 이웃을 사용하여 a가 어떤 종류의 항목을 좋아할지 예측합니다. 3. a가 a에게 좋아할 만한 항목을 추천합니다.
알고리즘의 핵심 공식은 다음과 같습니다.
1. 코사인 유사성(이웃 찾기):
2. 예측 공식(어떤 종류의 항목을 좋아할지 예측):
만 이 두 공식에서 우리는 이 두 공식에 따라 계산하는 것만으로도 많은 루프와 판단이 필요하며 정렬 알고리즘의 선택과 사용과 관련된 정렬 문제도 포함된다는 것을 알 수 있습니다. 인터넷에서 퀵큐를 복사해서 바로 사용했어요. 한마디로 빅데이터의 경우 효율성은 말할 것도 없고 구현하기도 매우 번거롭다.
먼저 테이블 만들기:
DROP TABLE IF EXISTS `tb_xttj`; CREATE TABLE `tb_xttj` ( `name` varchar(255) NOT NULL, `a` int(255) default NULL, `b` int(255) default NULL, `c` int(255) default NULL, `d` int(255) default NULL, `e` int(255) default NULL, `f` int(255) default NULL, `g` int(255) default NULL, `h` int(255) default NULL, PRIMARY KEY (`name`) ) ENGINE=MyISAM DEFAULT CHARSET=latin1; INSERT INTO `tb_xttj` VALUES ('John', '4', '4', '5', '4', '3', '2', '1', null); INSERT INTO `tb_xttj` VALUES ('Mary', '3', '4', '4', '2', '5', '4', '3', null); INSERT INTO `tb_xttj` VALUES ('Lucy', '2', '3', null, '3', null, '3', '4', '5'); INSERT INTO `tb_xttj` VALUES ('Tom', '3', '4', '5', null, '1', '3', '5', '4'); INSERT INTO `tb_xttj` VALUES ('Bill', '3', '2', '1', '5', '3', '2', '1', '1'); INSERT INTO `tb_xttj` VALUES ('Leo', '3', '4', '5', '2', '4', null, null, null);
f, g, h 중 어떤 것을 추천할 수 있는지 마지막 행의 Leo만 추천하겠습니다. php+mysql을 사용했을 때의 흐름도는 다음과 같습니다.
데이터베이스에 연결하여 2차원 배열로 저장하는 코드는 다음과 같습니다:
header("Content-Type:text/html;charset=utf-8");
mysql_connect("localhost","root","admin");
mysql_select_db("geodatabase");
mysql_query("set names 'utf8'");
$sql = "SELECT * FROM tb_xttj";
$result = mysql_query($sql);
$array = array();
while($row=mysql_fetch_array($result))
{
$array[]=$row;//$array[][]是一个二维数组
}질문 1: 이 단계는 전체 테이블 쿼리로 간주될 수 있으며 이러한 종류의 쿼리는 금기시됩니다. 이 소규모 데모 시스템에서는 괜찮지만 빅 데이터 시스템에서는 비효율적입니다. 개선 방법은 아직 더 배워야 합니다.
레오 등의 Cos 값을 구하는 코드는 다음과 같습니다.
/*
* 以下示例只求Leo的推荐,如此给变量命名我也是醉了;初次理解算法，先不考虑效率和逻辑的问题，主要把过程做出来
*/
$cos = array();
$cos[0] = 0;
$fm1 = 0;
//开始计算cos
//计算分母1，分母1是第一个公式里面 “*”号左边的内容，分母二是右边的内容
for($i=1;$i<9;$i++){
if($array[5][$i] != null){//$array[5]代表Leo
$fm1 += $array[5][$i] * $array[5][$i];
}
}
$fm1 = sqrt($fm1);
for($i=0;$i<5;$i++){
$fz = 0;
$fm2 = 0;
echo "Cos(".$array[5][0].",".$array[$i][0].")=";
for($j=1;$j<9;$j++){
//计算分子
if($array[5][$j] != null && $array[$i][$j] != null){
$fz += $array[5][$j] * $array[$i][$j];
}
//计算分母2
if($array[$i][$j] != null){
$fm2 += $array[$i][$j] * $array[$i][$j];
}
}
$fm2 = sqrt($fm2);
$cos[$i] = $fz/$fm1/$fm2;
echo $cos[$i]."<br/>";
} 이 단계의 결과는 Jiang Zi입니다. 
구한 Cos 값을 정렬하고 다음과 같이 퀵 정렬 코드를 사용합니다(복사) from Baidu):
//对计算结果进行排序,凑合用快排吧先
function quicksort($str){
if(count($str)<=1) return $str;//如果个数不大于一，直接返回
$key=$str[0];//取一个值，稍后用来比较；
$left_arr=array();
$right_arr=array();
for($i=1;$i<count($str);$i++){//比$key大的放在右边，小的放在左边；
if($str[$i]>=$key)
$left_arr[]=$str[$i];
else
$right_arr[]=$str[$i];
}
$left_arr=quicksort($left_arr);//进行递归；
$right_arr=quicksort($right_arr);
return array_merge($left_arr,array($key),$right_arr);//将左中右的值合并成一个数组；
}
$neighbour = array();//$neighbour只是对cos值进行排序并存储
$neighbour = quicksort($cos);여기의 $neighbour 배열은 Cos 값을 큰 것에서 작은 것으로 정렬한 것만 저장하며 사람과 연결되지 않습니다. 이 문제는 여전히 해결되어야 합니다.
CoS 값이 가장 높은 3명을 레오의 이웃으로 선택하세요:
//$neighbour_set 存储最近邻的人和cos值
$neighbour_set = array();
for($i=0;$i<3;$i++){
for($j=0;$j<5;$j++){
if($neighbour[$i] == $cos[$j]){
$neighbour_set[$i][0] = $j;
$neighbour_set[$i][1] = $cos[$j];
$neighbour_set[$i][2] = $array[$j][6];//邻居对f的评分
$neighbour_set[$i][3] = $array[$j][7];//邻居对g的评分
$neighbour_set[$i][4] = $array[$j][8];//邻居对h的评分
}
}
}
print_r($neighbour_set);
echo "<p><br/>";이 단계의 결과는 Jiang Zi입니다:
이것은 2차원 배열이며, 배열의 첫 번째 수준은 0, 1, 2이며 3명을 나타냅니다. 두 번째 수준 첨자 0은 데이터 테이블의 이웃 순서를 나타냅니다. 예를 들어 Jhon은 테이블의 0번째 사람이고, 첨자 1은 Leo와 이웃 2, 3, 4의 Cos 값을 나타냅니다. 이웃 쌍 f 와 g , h 등급을 각각 나타냅니다.
예측을 시작합니다. Predict의 계산 코드는 다음과 같습니다.
Leo의 f, g, h에 대한 예측값을 각각 계산합니다. 여기에는 문제가 있습니다. 즉, 일부 이웃에 f, g, h에 대한 빈 점수가 있는 경우 이를 처리하는 방법입니다. 예를 들어, h에 대한 Jhon과 Mary의 평가는 비어 있습니다. 본능적으로 if를 사용하여 판단하고, 비어 있으면 이 일련의 계산을 건너뛰는 것을 생각하지만 이것이 합리적인지 여부는 여전히 고려되어야 합니다. 다음 코드는 if 판단을 작성하지 않습니다.
//计算Leo对f的评分
$p_arr = array();
$pfz_f = 0;
$pfm_f = 0;
for($i=0;$i<3;$i++){
$pfz_f += $neighbour_set[$i][1] * $neighbour_set[$i][2];
$pfm_f += $neighbour_set[$i][1];
}
$p_arr[0][0] = 6;
$p_arr[0][1] = $pfz_f/sqrt($pfm_f);
if($p_arr[0][1]>3){
echo "推荐f";
}
//计算Leo对g的评分
$pfz_g = 0;
$pfm_g = 0;
for($i=0;$i<3;$i++){
$pfz_g += $neighbour_set[$i][1] * $neighbour_set[$i][3];
$pfm_g += $neighbour_set[$i][1];
$p_arr[1][0] = 7;
$p_arr[1][1] = $pfz_g/sqrt($pfm_g);
}
if($p_arr[0][1]>3){
echo "推荐g";
}
//计算Leo对h的评分
$pfz_h = 0;
$pfm_h = 0;
for($i=0;$i<3;$i++){
$pfz_h += $neighbour_set[$i][1] * $neighbour_set[$i][4];
$pfm_h += $neighbour_set[$i][1];
$p_arr[2][0] = 8;
$p_arr[2][1] = $pfz_h/sqrt($pfm_h);
}
print_r($p_arr);
if($p_arr[0][1]>3){
echo "推荐h";
}$p_arr는 Leo에 권장되는 배열이며, 그 내용은 다음과 유사합니다.
Array ( [0] => Array ( [0] => 6 [1] => 4.2314002228795 ) [1 ] => ; 배열 ( [0] => 7 [1] => 2.6511380196197 ) [2] => 배열 ( [0] => 8 [1] => 0.45287424581774 ) )
f는 첫 번째 6입니다. 열, Predict 값은 4.23, g는 일곱 번째 열, Predict 값은 2.65...
f, g, h의 Predict 값을 계산한 후 두 가지 처리 방법이 있습니다. 하나는 Predict를 사용하는 것입니다. value 3보다 큰 항목을 레오에게 추천하는 방법 또 다른 방법은 Predict 값을 큰 것부터 작은 것 순으로 정렬한 후 Predict 값이 큰 상위 2개 항목을 레오에게 추천하는 것입니다. 이 코드는 작성되지 않았습니다.위의 예에서 볼 수 있듯이 추천 알고리즘의 구현은 루핑, 판단, 배열 병합 등이 필요하여 매우 번거롭습니다. 제대로 처리하지 않으면 시스템에 부담이 됩니다. 실제 처리에는 여전히 다음과 같은 문제가 있습니다.
1. 위의 예에서는 Leo만 추천했으며 Leo는 항목 f, g, h를 평가하지 않았다는 것을 이미 알고 있습니다. 실제 시스템에 적용하면 추천이 필요한 각 사용자에 대해 어떤 항목을 평가하지 않았는지 알아내야 하는데, 이는 또 다른 오버헤드 부분입니다.
2. 실제 시스템에서는 전체 테이블 쿼리를 수행해서는 안 됩니다. 예를 들어 표에서 Leo와 다른 사람들 사이의 Cos 값을 찾습니다. 값이 0.80보다 크면 이웃이 될 수 있다는 의미입니다. 이런 식으로 10개의 이웃을 찾으면 전체 테이블에 대한 쿼리를 피하기 위해 Cos 값 계산을 중단합니다. 이 방법은 추천 항목에도 적절하게 사용할 수 있습니다. 예를 들어 10개 항목만 추천하고 추천 후 예측 값 계산을 중지합니다.
3. 시스템을 사용하면 항목도 변경됩니다. 오늘은 fgh이고 내일은 xyz일 수 있습니다. 데이터 테이블은 동적으로 변경되어야 합니다.
4. 콘텐츠 기반 추천을 적절하게 도입하여 추천 알고리즘을 개선할 수 있습니다.
5. 권장되는 정확도 문제는 다른 표준 값을 설정하면 정확도에 영향을 미칩니다.
요약: 본질적인 문제는 알고리즘의 효율성이 높지 않다는 점이라고 생각합니다. 더 나은 협업 필터링 추천 알고리즘이 있는지 계속해서 연구해 보세요.
위 내용은 php+mysql 협업 필터링 알고리즘 구현의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!