Обрзаем предложение в кодирове UTF-8 по словам - Работа с текстом - Интересные решения для программистов - Примеры кода

Работа с текстом → Обрзаем предложение в кодирове UTF-8 по словам → PHP

Обрезает текст в кодировке UTF-8 до заданной длины,
причём последнее слово показывается целиком, а не обрывается на середине.
Html сущности корректно обрабатываются.

/**
 * @param    string   $s           текст в кодировке UTF-8
 * @param    int      $maxlength   ограничение длины текста
 * @param    string   $continue    завершающая строка, которая будет вставлена после текста, если он обрежется
 * @param    string   &$is_cutted  текст был обрезан?
 * @return   string
 *
 * @license  http://creativecommons.org/licenses/by-nc-sa/3.0/
 * @author   Nasibullin Rinat <n a s i b u l l i n  at starlink ru>
 * @charset  ANSI
 * @version  3.3.3
 */
function utf8_str_limit($s, $maxlength = 256, $continue = "\xe2\x80\xa6", &$is_cutted = null) #"\xe2\x80\xa6" = "…"
{
    $is_cutted = false;
    if ($continue === null) $continue = "\xe2\x80\xa6";

#оптимизация скорости:
    #{{{
    if (strlen($s) <= $maxlength) return $s;
    $s2 = str_replace("\r\n", '?', $s);
    $s2 = preg_replace('/&(?> [a-zA-Z][a-zA-Z\d] 
                            | \#(?> \d{1,4}
                                  | x[\da-fA-F]{2,4}
                                )
                          );  # html сущности (< > & ")
                        /sx', '?', $s2);
    #utf8_decode() converts characters that are not in ISO-8859-1 to '?', which, for the purpose of counting, is quite alright.
    if (strlen($s2) <= $maxlength || strlen(utf8_decode($s2)) <= $maxlength) return $s;
    #}}}

preg_match_all('/(?> \r\n   # переносы строк
                       | &(?> [a-zA-Z][a-zA-Z\d] 
                            | \#(?> \d{1,4}
                                  | x[\da-fA-F]{2,4}
                                )
                          );  # html сущности (< > & ")
                       | [\x09\x0A\x0D\x20-\x7E]           # ASCII
                       | [\xC2-\xDF][\x80-\xBF]            # non-overlong 2-byte
                       |  \xE0[\xA0-\xBF][\x80-\xBF]       # excluding overlongs
                       | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte
                       |  \xED[\x80-\x9F][\x80-\xBF]       # excluding surrogates
                       |  \xF0[\x90-\xBF][\x80-\xBF]{2}    # planes 1-3
                       | [\xF1-\xF3][\x80-\xBF]{3}         # planes 4-15
                       |  \xF4[\x80-\x8F][\x80-\xBF]{2}    # plane 16
                     )
                    /sx', $s, $m);
    #d($m);
    if (count($m[0]) <= $maxlength) return $s;
    $is_cutted = true;
    $left = implode('', array_slice($m[0], 0, $maxlength));
    #из диапазона ASCII исключаем буквы, цифры, закрывающие парные символы [a-zA-Z\d)}\];]
    #нельзя вырезать в конце строки символ ";", т.к. он используются в сущностях &xxx;
    $left2 = rtrim($left, "\x00..\x28\x2A..\x2F\x3A\x3C\x40\x5C\x5E..\x60\x7C\x7E\x7F");
    if (strlen($left) !== strlen($left2)) return $left2 . $continue;

#добавляем остаток к обрезанному слову
    $right = implode('', array_slice($m[0], $maxlength));
    preg_match('/^(?: [a-zA-Z\d\)\]\}\-\.]  #английские буквы или цифры, закрывающие парные символы, дефис для составных слов, дата, IP-адреса, URL типа www.ya.ru!
                    | \xe2\x80[\x9d\x99]|\xc2\xbb|\xe2\x80\x9c  #закрывающие кавычки
                    | \xc3[\xa4\xa7\xb1\xb6\xbc\x84\x87\x91\x96\x9c]|\xc4[\x9f\xb1\x9e\xb0]|\xc5[\x9f\x9e]  #турецкие
                    | \xd0[\x90-\xbf\x81]|\xd1[\x80-\x8f\x91]   #русские буквы
                    | \xd2[\x96\x97\xa2\xa3\xae\xaf\xba\xbb]|\xd3[\x98\x99\xa8\xa9]  #татарские
                  ) 
                /sx', $right, $m);
    #d($m);
    $right = isset($m[0]) ? rtrim($m[0], '.-') : '';
    $s2 = $left . $right;
    if (strlen($s2) !== strlen($s)) $s2 .= $continue;
    return $s2;

/*
    #:DEPRECATED:
    #Компилятор регулярного выражения выдает ошибку на больших текстах $maxlength > 50!!!
    if (preg_match('/^#получаем все символы с ограничением длины строки
                      (?: \r\n   # переносы строк
                       | &(? > [a-zA-Z][a-zA-Z\d] 
                            | \#(? > \d{1,4}
                                  | x[\da-fA-F]{2,4}
                                )
                          );  # html сущности (< > & ")
                       | [\x09\x0A\x0D\x20-\x7E]           # ASCII
                       | [\xC2-\xDF][\x80-\xBF]            # non-overlong 2-byte
                       |  \xE0[\xA0-\xBF][\x80-\xBF]       # excluding overlongs
                       | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte
                       |  \xED[\x80-\x9F][\x80-\xBF]       # excluding surrogates
                       |  \xF0[\x90-\xBF][\x80-\xBF]{2}    # planes 1-3
                       | [\xF1-\xF3][\x80-\xBF]{3}         # planes 4-15
                       |  \xF4[\x80-\x8F][\x80-\xBF]{2}    # plane 16
                      ){1,' . intval($maxlength) . '}
                     #добавляем последние символы, чтобы небыло разрыва слова посередине
                     (? > [a-zA-Z\d\)\]\}\-]                #английские буквы или цифры, закрывающие парные символы, дефис для составных слов!
                         | \xe2\x80[\x9d\x99]|\xc2\xbb|\xe2\x80\x9c  #закрывающие кавычки
                         | \xc3[\xa4\xa7\xb1\xb6\xbc\x84\x87\x91\x96\x9c]|\xc4[\x9f\xb1\x9e\xb0]|\xc5[\x9f\x9e]  #турецкие
                         | \xd0[\x90-\xbf\x81]|\xd1[\x80-\x8f\x91]   #русские буквы
                         | \xd2[\x96\x97\xa2\xa3\xae\xaf\xba\xbb]|\xd3[\x98\x99\xa8\xa9]  #татарские
                     ){0,40}
                    /sx', $s, $m))
    {
        #нельзя вырезать в конце строки символ ";", т.к. он используются в сущностях &xxx;
        return rtrim($m[0], " \r\n\t`=\\/~!@#*<>'(_ |\";:.,?!*") . $continue;
        #return $m[0] . $continue;
    }
    #текст не в кодировке UTF-8!
    trigger_error('Unknown charset !', E_USER_WARNING);
    return false;
    */
}

cut, length, limit, php, string, words

KOS_MOS

Nasibullin Rinat

07.06.2008

Слава [Добавлено 07.09.2010 08:34:02]

Велосипеды производим? :) mb_strcut

Меню

Подписка на RSS:

Подпишись на RSS-ленту

Поиск

Облако тегов

	Работа с текстом → Обрзаем предложение в кодирове UTF-8 по словам → PHP Обрезает текст в кодировке UTF-8 до заданной длины, причём последнее слово показывается целиком, а не обрывается на середине. Html сущности корректно обрабатываются. /** * @param string $s текст в кодировке UTF-8 * @param int $maxlength ограничение длины текста * @param string $continue завершающая строка, которая будет вставлена после текста, если он обрежется * @param string &$is_cutted текст был обрезан? * @return string * * @license http://creativecommons.org/licenses/by-nc-sa/3.0/ * @author Nasibullin Rinat <n a s i b u l l i n at starlink ru> * @charset ANSI * @version 3.3.3 / function utf8_str_limit($s, $maxlength = 256, $continue = "\xe2\x80\xa6", &$is_cutted = null) #"\xe2\x80\xa6" = "…" { $is_cutted = false; if ($continue === null) $continue = "\xe2\x80\xa6"; #оптимизация скорости: #{{{ if (strlen($s) <= $maxlength) return $s; $s2 = str_replace("\r\n", '?', $s); $s2 = preg_replace('/&(?> [a-zA-Z][a-zA-Z\d] \| \#(?> \d{1,4} \| x[\da-fA-F]{2,4} ) ); # html сущности (< > & ") /sx', '?', $s2); #utf8_decode() converts characters that are not in ISO-8859-1 to '?', which, for the purpose of counting, is quite alright. if (strlen($s2) <= $maxlength \|\| strlen(utf8_decode($s2)) <= $maxlength) return $s; #}}} preg_match_all('/(?> \r\n # переносы строк \| &(?> [a-zA-Z][a-zA-Z\d] \| \#(?> \d{1,4} \| x[\da-fA-F]{2,4} ) ); # html сущности (< > & ") \| [\x09\x0A\x0D\x20-\x7E] # ASCII \| [\xC2-\xDF][\x80-\xBF] # non-overlong 2-byte \| \xE0[\xA0-\xBF][\x80-\xBF] # excluding overlongs \| [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte \| \xED[\x80-\x9F][\x80-\xBF] # excluding surrogates \| \xF0[\x90-\xBF][\x80-\xBF]{2} # planes 1-3 \| [\xF1-\xF3][\x80-\xBF]{3} # planes 4-15 \| \xF4[\x80-\x8F][\x80-\xBF]{2} # plane 16 ) /sx', $s, $m); #d($m); if (count($m[0]) <= $maxlength) return $s; $is_cutted = true; $left = implode('', array_slice($m[0], 0, $maxlength)); #из диапазона ASCII исключаем буквы, цифры, закрывающие парные символы [a-zA-Z\d)}\];] #нельзя вырезать в конце строки символ ";", т.к. он используются в сущностях &xxx; $left2 = rtrim($left, "\x00..\x28\x2A..\x2F\x3A\x3C\x40\x5C\x5E..\x60\x7C\x7E\x7F"); if (strlen($left) !== strlen($left2)) return $left2 . $continue; #добавляем остаток к обрезанному слову $right = implode('', array_slice($m[0], $maxlength)); preg_match('/^(?: [a-zA-Z\d\)\]\}\-\.] #английские буквы или цифры, закрывающие парные символы, дефис для составных слов, дата, IP-адреса, URL типа www.ya.ru! \| \xe2\x80[\x9d\x99]\|\xc2\xbb\|\xe2\x80\x9c #закрывающие кавычки \| \xc3[\xa4\xa7\xb1\xb6\xbc\x84\x87\x91\x96\x9c]\|\xc4[\x9f\xb1\x9e\xb0]\|\xc5[\x9f\x9e] #турецкие \| \xd0[\x90-\xbf\x81]\|\xd1[\x80-\x8f\x91] #русские буквы \| \xd2[\x96\x97\xa2\xa3\xae\xaf\xba\xbb]\|\xd3[\x98\x99\xa8\xa9] #татарские ) /sx', $right, $m); #d($m); $right = isset($m[0]) ? rtrim($m[0], '.-') : ''; $s2 = $left . $right; if (strlen($s2) !== strlen($s)) $s2 .= $continue; return $s2; / #:DEPRECATED: #Компилятор регулярного выражения выдает ошибку на больших текстах $maxlength > 50!!! if (preg_match('/^#получаем все символы с ограничением длины строки (?: \r\n # переносы строк \| &(? > [a-zA-Z][a-zA-Z\d] \| \#(? > \d{1,4} \| x[\da-fA-F]{2,4} ) ); # html сущности (< > & ") \| [\x09\x0A\x0D\x20-\x7E] # ASCII \| [\xC2-\xDF][\x80-\xBF] # non-overlong 2-byte \| \xE0[\xA0-\xBF][\x80-\xBF] # excluding overlongs \| [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte \| \xED[\x80-\x9F][\x80-\xBF] # excluding surrogates \| \xF0[\x90-\xBF][\x80-\xBF]{2} # planes 1-3 \| [\xF1-\xF3][\x80-\xBF]{3} # planes 4-15 \| \xF4[\x80-\x8F][\x80-\xBF]{2} # plane 16 ){1,' . intval($maxlength) . '} #добавляем последние символы, чтобы небыло разрыва слова посередине (? > [a-zA-Z\d\)\]\}\-] #английские буквы или цифры, закрывающие парные символы, дефис для составных слов! \| \xe2\x80[\x9d\x99]\|\xc2\xbb\|\xe2\x80\x9c #закрывающие кавычки \| \xc3[\xa4\xa7\xb1\xb6\xbc\x84\x87\x91\x96\x9c]\|\xc4[\x9f\xb1\x9e\xb0]\|\xc5[\x9f\x9e] #турецкие \| \xd0[\x90-\xbf\x81]\|\xd1[\x80-\x8f\x91] #русские буквы \| \xd2[\x96\x97\xa2\xa3\xae\xaf\xba\xbb]\|\xd3[\x98\x99\xa8\xa9] #татарские ){0,40} /sx', $s, $m)) { #нельзя вырезать в конце строки символ ";", т.к. он используются в сущностях &xxx; return rtrim($m[0], " \r\n\t`=\\/~!@#<>'(_ \|\";:.,?!") . $continue; #return $m[0] . $continue; } #текст не в кодировке UTF-8! trigger_error('Unknown charset !', E_USER_WARNING); return false; / } cut, length, limit, php, string, words* KOS_MOS Nasibullin Rinat 07.06.2008 Слава [Добавлено 07.09.2010 08:34:02] Велосипеды производим? :) mb_strcut Ваше имя Ваш E-mail (если хотите отслеживать комментарии) Дoкажи, что ты не робот Текст комментария	Меню CodeIgniter Алгоритмы Базы данных Дата и Время Интернет Интерфейс Мультимедиа ОС и Железо Работа с текстом Разное Технологии Файлы Подписка на RSS: Подпишись на RSS-ленту Поиск Облако тегов .net array asp bash browser charset check class clean convert count create css curl database date delete directory download element email equivalent extension file find form format function get height html http ie image javascript jquery load mysql number page perl php random scriplet send shell size sql string text time url utf8 variable vb visual basic width window xml xslt