首頁 >後端開發 >php教程 >php字元轉碼解決新浪抓取資料亂碼的問題

php字元轉碼解決新浪抓取資料亂碼的問題

WBOY
WBOY原創
2016-07-25 08:53:37923瀏覽
  1. function unescape($str) {
  2. $str = rawurldecode($str);
  3. preg_match_all("/(?:%u.{4})|. /",$str,$r);
  4. $ar = $r[0];
  5. foreach($ar as $k=>$v) {
  6. if(substr($v,0,2) == '%u' && strlen($v) == 6)
  7. $ar[$k] = iconv("UCS-2","utf-8",pack("H4",substr($v,-4)));
  8. }
  9. return join("",$ar);
  10. }
复制代码

有点小问题,又换一个函数,好像功能要强大一些。

  1. function unescape($str) {
  2. $str = rawurldecode($str);
  3. preg_match_all("/%u.{4}|&#x.{4};|&#d ;|&#d ?|. /U",$str,$r);
  4. $ar = $r[0];
  5. foreach($ar as $k=>$v) {
  6. if(substr($v,0,2) == "%u")
  7. $ar[$k] = iconv("UCS-2","utf-8",pack("H4",substr($v,-4)));
  8. elseif(substr($v,0,3) == "&#x")
  9. $ar[$k] = iconv("UCS-2","utf-8",pack("H4",substr($v,3,-1)));
  10. elseif(substr($v,0,2) == "&#") {
  11. $ar[$k] = iconv("UCS-2","utf-8",pack("n",preg_replace("/[^d]/","",$v)));
  12. }
  13. }
  14. return join("",$ar);
  15. }
复制代码

用了一段时间,发现在本地可以使用,但是我们的线上环境不能够使用。 线上是*nux,本地是XP了,还有,就是PHP版本不一样了。 后来,又在手册里面发现有一个类似的函数 而且还支持utf8,个人觉得应该通用性更好吧。

  1. //php字符转码
  2. function utf8RawUrlDecode ($source) {
  3. $decodedStr = "";
  4. $pos = 0;
  5. $len = strlen ($source);
  6. while ($pos < $len) {
  7. $charAt = substr ($source, $pos, 1);
  8. if ($charAt == '%') {
  9. $pos ;
  10. $charAt = substr ($source, $pos, 1);
  11. if ($charAt == 'u') {
  12. // we got a unicode character
  13. $pos ;
  14. $unicodeHexVal = substr ($source, $pos, 4);
  15. $unicode = hexdec ($unicodeHexVal);
  16. $entity = "&#". $unicode . ';';
  17. $decodedStr .= utf8_encode ($entity);
  18. $pos = 4;
  19. }
  20. else {
  21. // we have an escaped ascii character
  22. $hexVal = substr ($source, $pos, 2);
  23. $decodedStr .= chr (hexdec ($hexVal));
  24. $pos = 2;
  25. }
  26. } else {
  27. $decodedStr .= $charAt;
  28. $pos ;
  29. }
  30. }
  31. return $decodedStr;
  32. }
复制代码

使用此函数成功解决问题。



陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn