Скрипт для определения проиндексированных Яндексом страниц сайта - Интернет - Интересные решения для программистов - Примеры кода

Интернет → Скрипт для определения проиндексированных Яндексом страниц сайта → PHP

Для облегчения поиска проиндексированных страниц лучше использовать скрипт, написанных на каком-либо языке программирования.
Стоит обратить внимание на то, что при написании подобного скрипта иногда встречается следующая ошибка: при запросе об URL интересующего вас ресурса (см. вызов функции fwrite ($fp, $headers);) забывают удалять вначале запрашиваемого URL "http://", а в конце завершающий слэш ("/").

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
   <title>Проиндексированные Яндексом страницы сайта</title>
   <meta http-equiv="content-type" content="text/html; charset=windows-1251">
   <meta http-equiv="content-language" content="ru">
</head>

<?
   // Убираем пробелы из начала и конца строк
   $urls = trim($_POST["urls"]);

// Разделяем входые данные (URLs) по строкам
   $url = explode ("\n", $urls);

// Количество введенных URLs
   $count = count ($url);

function getPage($url)
   {
    // Открывает сокет соединения указанного домена/страницы
    $fp = fsockopen ("www.yandex.ru", 80);

// Формируем запрос для указанного домена
    // Используем метод GET
    $headers = "GET ".$url." HTTP/1.1\r\n";
    $headers .= "Host: www.yandex.ru\r\n";
    $headers .= "Connection: Close\r\n\r\n";

// Отправляем домену запрос
    fwrite ($fp, $headers);

// Получаем ответ от www.yandex.ru (по 1024 байт)
    while (!feof ($fp))
    {
     $str .= fgets($fp, 1024);
    }

// Закрываем соединение
    fclose($fp);

return $str;
   }

if (trim($urls) != "")
   {
    echo "<table width='100%' border='1' cellpadding='5' cellspacing='0'>";

for ($i = 0; $i < $count; $i++)
    {
     // Удаляем "http://", если $url[$i] содержит данную подстроку
      if (substr(trim($url[$i]), 0, 7) == "http://")
     {
      $url[$i] = substr (trim($url[$i]), 7);
     }
     // Удаляем завершающий "/", если $url[$i] содержит данную подстроку
     if (substr(trim($url[$i]), -1) == "/")
     {
      $url[$i] = substr (trim($url[$i]), 0, -1);
     }

// Переменная $str содержит результат запроса
     $str = getPage("/yandsearch?stype=www&nl=0&text=&numdoc=50&surl=".urlencode($url[$i]));

// Начало поиска подстроки
     $start = strpos ($str, 'Результат поиска: страниц');
     // Конец поиска подстроки
     $end = strpos ($str, 'Область поиска');
     // Найденная подстрока
     $result = substr ($str, $start, $end - $start);

// Выделяем количество проиндексированных страниц сайта
     preg_match_all("/<[\s]*b[\s]*>([^<]*)<[\s]*\/b[\s]*>/i", $result, $match);

// Выводим результат
     echo $iterac = $match[1][0];

// Выделяем все проиндексированные страницы сайта
     preg_match_all("/<li value=(\d{1,4})[\w\W]*?href=\"http:\/\/(w{0,3}\.?[\w\W]+?)(?=\")/", $str, $result);

// Общее количество страниц в выдаче Яндекса
     $row = floor($iterac / 50);

echo "<tr><td valign=top>".$url[$i]."</td><td>";

// Выводим каждую проиндексированную страницу сайта
     foreach ($result[2] as $a)
     {
      echo $a."<br>";
     }

// Повторяем предыдущие действия для каждой очередной страницы выдачи Яндекса
     for ($j = 0; $j < $row; $j++)
     {
     // Выделяем адрес следующей страницы в выдаче Яндекса
      preg_match_all('/<a\s+id\s*=\s*"next_page"\s+href\s*=\s*"([^"]+)"/i', $str, $test);
      $str = getPage($test[1][0]);

// Выделяем все проиндексированные страницы сайта на текущей странице выдачи Яндекса
      preg_match_all("/<li value=(\d{1,4})[\w\W]*?href=\"http:\/\/(w{0,3}\.?[\w\W]+?)(?=\")/",$str,$result);

// Выводим каждую проиндексированную страницу сайта
      foreach ($result[2] as $a)
      {
       echo $a."<br>";
      }
     }

echo "</td></tr>";
    }

echo "<table>";
   }
   ?>
</body>

</html>

index, php, seo, yandex

KOS_MOS

Локтев Алексей

14.03.2008

Меню

Подписка на RSS:

Подпишись на RSS-ленту

Поиск

Облако тегов

	Интернет → Скрипт для определения проиндексированных Яндексом страниц сайта → PHP Для облегчения поиска проиндексированных страниц лучше использовать скрипт, написанных на каком-либо языке программирования. Стоит обратить внимание на то, что при написании подобного скрипта иногда встречается следующая ошибка: при запросе об URL интересующего вас ресурса (см. вызов функции fwrite ($fp, $headers);) забывают удалять вначале запрашиваемого URL "http://", а в конце завершающий слэш ("/"). <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <html> <head> <title>Проиндексированные Яндексом страницы сайта</title> <meta http-equiv="content-type" content="text/html; charset=windows-1251"> <meta http-equiv="content-language" content="ru"> </head> <body> <form method="post"> <textarea name="urls" rows="5" cols="50"><?=$_POST["urls"]?><br> <input type="submit" value="yes"> </form> <? // Убираем пробелы из начала и конца строк $urls = trim($_POST["urls"]); // Разделяем входые данные (URLs) по строкам $url = explode ("\n", $urls); // Количество введенных URLs $count = count ($url); function getPage($url) { // Открывает сокет соединения указанного домена/страницы $fp = fsockopen ("www.yandex.ru", 80); // Формируем запрос для указанного домена // Используем метод GET $headers = "GET ".$url." HTTP/1.1\r\n"; $headers .= "Host: www.yandex.ru\r\n"; $headers .= "Connection: Close\r\n\r\n"; // Отправляем домену запрос fwrite ($fp, $headers); // Получаем ответ от www.yandex.ru (по 1024 байт) while (!feof ($fp)) { $str .= fgets($fp, 1024); } // Закрываем соединение fclose($fp); return $str; } if (trim($urls) != "") { echo "<table width='100%' border='1' cellpadding='5' cellspacing='0'>"; for ($i = 0; $i < $count; $i++) { // Удаляем "http://", если $url[$i] содержит данную подстроку if (substr(trim($url[$i]), 0, 7) == "http://") { $url[$i] = substr (trim($url[$i]), 7); } // Удаляем завершающий "/", если $url[$i] содержит данную подстроку if (substr(trim($url[$i]), -1) == "/") { $url[$i] = substr (trim($url[$i]), 0, -1); } // Переменная $str содержит результат запроса $str = getPage("/yandsearch?stype=www&nl=0&text=&numdoc=50&surl=".urlencode($url[$i])); // Начало поиска подстроки $start = strpos ($str, 'Результат поиска: страниц'); // Конец поиска подстроки $end = strpos ($str, 'Область поиска'); // Найденная подстрока $result = substr ($str, $start, $end - $start); // Выделяем количество проиндексированных страниц сайта preg_match_all("/<[\s]b[\s]>([^<])<[\s]\/b[\s]>/i", $result, $match); // Выводим результат echo $iterac = $match[1][0]; // Выделяем все проиндексированные страницы сайта preg_match_all("/<li value=(\d{1,4})[\w\W]?href=\"http:\/\/(w{0,3}\.?[\w\W]+?)(?=\")/", $str, $result); // Общее количество страниц в выдаче Яндекса $row = floor($iterac / 50); echo "<tr><td valign=top>".$url[$i]."</td><td>"; // Выводим каждую проиндексированную страницу сайта foreach ($result[2] as $a) { echo $a."<br>"; } // Повторяем предыдущие действия для каждой очередной страницы выдачи Яндекса for ($j = 0; $j < $row; $j++) { // Выделяем адрес следующей страницы в выдаче Яндекса preg_match_all('/<a\s+id\s=\s"next_page"\s+href\s=\s"([^"]+)"/i', $str, $test); $str = getPage($test[1][0]); // Выделяем все проиндексированные страницы сайта на текущей странице выдачи Яндекса preg_match_all("/<li value=(\d{1,4})[\w\W]?href=\"http:\/\/(w{0,3}\.?[\w\W]+?)(?=\")/",$str,$result); // Выводим каждую проиндексированную страницу сайта foreach ($result[2] as $a) { echo $a."<br>"; } } echo "</td></tr>"; } echo "<table>"; } ?> </body> </html> index, php, seo, yandex* KOS_MOS Локтев Алексей 14.03.2008 Ваше имя Ваш E-mail (если хотите отслеживать комментарии) Дoкажи, что ты не робот Текст комментария	Меню CodeIgniter Алгоритмы Базы данных Дата и Время Интернет Интерфейс Мультимедиа ОС и Железо Работа с текстом Разное Технологии Файлы Подписка на RSS: Подпишись на RSS-ленту Поиск Облако тегов .net array asp bash browser charset check class clean convert count create css curl database date delete directory download element email equivalent extension file find form format function get height html http ie image javascript jquery load mysql number page perl php random scriplet send shell size sql string text time url utf8 variable vb visual basic width window xml xslt