Is UTF-8 - Работа с текстом - Интересные решения для программистов - Примеры кода

Работа с текстом → Is UTF-8 → PHP

Возвращает true усли переданная строка - правильный UTF-8, иначе false

/**
 * Returns true if $data is valid UTF-8 and false otherwise.
 * Для значений null, integer, float, boolean возвращает TRUE.
 *
 * Массивы обходятся рекурсивно, если в хотябы одном элементе массива его значение
 * не в кодировке UTF-8, возвращается FALSE.
 *
 * @param    mixed(array/scalar/null)  $data
 * @param    bool                      $is_strict    строгая проверка диапазона ASCII?
 * @return   bool
 *
 * @link     http://www.w3.org/International/questions/qa-forms-utf-8.html
 * @link     http://ru3.php.net/mb_detect_encoding
 * @link     http://webtest.philigon.ru/articles/utf8/
 * @link     http://unicode.coeurlumiere.com/
 *
 * @license  http://creativecommons.org/licenses/by-nc-sa/3.0/
 * @author   Nasibullin Rinat <n a s i b u l l i n  at starlink ru>
 * @charset  ANSI
 * @version  4.0.1
 */
function is_utf8(&$data, $is_strict = true)
{
    if (is_array($data))
    {
        foreach ($data as $k => &$v) if (! is_utf8($v, $is_strict)) return false;
        return true;
    }
    elseif (is_string($data))
    {
        /*
        Рег. выражения имеют внутренние ограничения на длину повторов шаблонов поиска *,  , {x,y}
        равное 65536, поэтому используем preg_replace() вместо preg_match()
        */
        $result = $is_strict ?
                  preg_replace('/(?>[\x09\x0A\x0D\x20-\x7E]           # ASCII
                                  | [\xC2-\xDF][\x80-\xBF]            # non-overlong 2-byte
                                  |  \xE0[\xA0-\xBF][\x80-\xBF]       # excluding overlongs
                                  | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte
                                  |  \xED[\x80-\x9F][\x80-\xBF]       # excluding surrogates
                                  |  \xF0[\x90-\xBF][\x80-\xBF]{2}    # planes 1-3
                                  | [\xF1-\xF3][\x80-\xBF]{3}         # planes 4-15
                                  |  \xF4[\x80-\x8F][\x80-\xBF]{2}    # plane 16
                                 )*
                                /sx', '', $data) :
                  #это рег. выражение проверяет более широкий диапазон ASCII [\x00-\x7E]
                  preg_replace('/.*/su', '', $data);
        if (function_exists('preg_last_error'))
        {
            if (preg_last_error() === PREG_NO_ERROR) return strlen($result) === 0;
            if (preg_last_error() === PREG_BAD_UTF8_ERROR) return false;
        }
        elseif (is_string($result)) return strlen($result) === 0;

#в этом месте произошла ошибка выполнения регулярного выражения
        #проверяем еще одним, но более медленным способом:
        if (! function_exists('utf8_check')) include_once 'utf8_check.php';
        return utf8_check($data, $is_strict);
    }
    elseif (is_scalar($data) || is_null($data)) return true;  #~ null, integer, float, boolean
    #~ object or resource
    trigger_error('Scalar, null or array type expected, ' . gettype($data) . ' given ', E_USER_WARNING);
    return false;
}

check, php, string, utf8

KOS_MOS

Nasibullin Rinat

05.06.2008

Меню

Подписка на RSS:

Подпишись на RSS-ленту

Поиск

Облако тегов

	Работа с текстом → Is UTF-8 → PHP Возвращает true усли переданная строка - правильный UTF-8, иначе false /** * Returns true if $data is valid UTF-8 and false otherwise. * Для значений null, integer, float, boolean возвращает TRUE. * * Массивы обходятся рекурсивно, если в хотябы одном элементе массива его значение * не в кодировке UTF-8, возвращается FALSE. * * @param mixed(array/scalar/null) $data * @param bool $is_strict строгая проверка диапазона ASCII? * @return bool * * @link http://www.w3.org/International/questions/qa-forms-utf-8.html * @link http://ru3.php.net/mb_detect_encoding * @link http://webtest.philigon.ru/articles/utf8/ * @link http://unicode.coeurlumiere.com/ * * @license http://creativecommons.org/licenses/by-nc-sa/3.0/ * @author Nasibullin Rinat <n a s i b u l l i n at starlink ru> * @charset ANSI * @version 4.0.1 / function is_utf8(&$data, $is_strict = true) { if (is_array($data)) { foreach ($data as $k => &$v) if (! is_utf8($v, $is_strict)) return false; return true; } elseif (is_string($data)) { / Рег. выражения имеют внутренние ограничения на длину повторов шаблонов поиска , , {x,y} равное 65536, поэтому используем preg_replace() вместо preg_match() / $result = $is_strict ? preg_replace('/(?>[\x09\x0A\x0D\x20-\x7E] # ASCII \| [\xC2-\xDF][\x80-\xBF] # non-overlong 2-byte \| \xE0[\xA0-\xBF][\x80-\xBF] # excluding overlongs \| [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte \| \xED[\x80-\x9F][\x80-\xBF] # excluding surrogates \| \xF0[\x90-\xBF][\x80-\xBF]{2} # planes 1-3 \| [\xF1-\xF3][\x80-\xBF]{3} # planes 4-15 \| \xF4[\x80-\x8F][\x80-\xBF]{2} # plane 16 )* /sx', '', $data) : #это рег. выражение проверяет более широкий диапазон ASCII [\x00-\x7E] preg_replace('/./su', '', $data); if (function_exists('preg_last_error')) { if (preg_last_error() === PREG_NO_ERROR) return strlen($result) === 0; if (preg_last_error() === PREG_BAD_UTF8_ERROR) return false; } elseif (is_string($result)) return strlen($result) === 0; #в этом месте произошла ошибка выполнения регулярного выражения #проверяем еще одним, но более медленным способом: if (! function_exists('utf8_check')) include_once 'utf8_check.php'; return utf8_check($data, $is_strict); } elseif (is_scalar($data) \|\| is_null($data)) return true; #~ null, integer, float, boolean #~ object or resource trigger_error('Scalar, null or array type expected, ' . gettype($data) . ' given ', E_USER_WARNING); return false; } check, php, string, utf8* KOS_MOS Nasibullin Rinat 05.06.2008 Ваше имя Ваш E-mail (если хотите отслеживать комментарии) Дoкажи, что ты не робот Текст комментария	Меню CodeIgniter Алгоритмы Базы данных Дата и Время Интернет Интерфейс Мультимедиа ОС и Железо Работа с текстом Разное Технологии Файлы Подписка на RSS: Подпишись на RSS-ленту Поиск Облако тегов .net array asp bash browser charset check class clean convert count create css curl database date delete directory download element email equivalent extension file find form format function get height html http ie image javascript jquery load mysql number page perl php random scriplet send shell size sql string text time url utf8 variable vb visual basic width window xml xslt