首頁  >  文章  >  後端開發  >  字串切分 utf-8(支援漢語、日文、韓文等,高效、)

字串切分 utf-8(支援漢語、日文、韓文等,高效、)

WBOY
WBOY原創
2016-07-25 09:08:021339瀏覽
因为mb_substr、mb_strlen太过低效,故而采用了此段代码。

非原创,主要原理是根据UTF-8的编码特点
0xxxxxxx
110xxxxx 10xxxxxx
1110xxxx 10xxxxxx 10xxxxxx
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
来获取字符边界,从而确定一个字所占字节数,并处理成数组。


方便对字符操作比较频繁的用户,此函数效率比mb_substr高效10倍,我曾经写过一个「N万违禁词替换类」,在开发此类过程中,详细对比过这两者的效率,此函数明显胜出。
  1. function str_split_utf8($str) {
  2. // place each character of the string into and array
  3. $split = 1;
  4. $array = array(); $len = strlen($str);
  5. for ( $i = 0; $i < $len; ){
  6. $value = ord($str[$i]);
  7. if($value > 0x7F){
  8. if($value >= 0xC0 && $value <= 0xDF)
  9. $split = 2;
  10. elseif($value >= 0xE0 && $value <= 0xEF)
  11. $split = 3;
  12. elseif($value >= 0xF0 && $value <= 0xF7)
  13. $split = 4;
  14. elseif($value >= 0xF8 && $value <= 0xFB)
  15. $split = 5;
  16. elseif($value >= 0xFC)
  17. $split = 6;
  18. } else {
  19. $split = 1;
  20. }
  21. $key = '';
  22. for ( $j = 0; $j < $split; ++$j, ++$i ) {
  23. $key .= $str[$i];
  24. }
  25. $array[] = $key;
  26. }
  27. return $array;
  28. }
复制代码


陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn