Асинхронный конвейер HTTP клиентов - Интернет - Интересные решения для программистов - Примеры кода

Интернет → Асинхронный конвейер HTTP клиентов → Perl

Задача сводилась к тому, чтобы по мере обработки читать с файла новые url, асинхронно запрашивать страницы и записывать HTTP ответы в файлы. Конечно можно было все сделать последовательно, но уж больно много времени потребовалось бы на это.

Как оказалось, для организации такого конвейера более подходит модуль HTTP::Async, а не LWP::Parallel::UserAgent.

Вот примерный код, который использовался для этого (работа с файлами опущена):

use HTTP::Message 1.57;
 use HTTP::Request;
 use HTTP::Async;
 my @urls    = (
  'http://www.perl.com',
  'http://www.perl.org',
  'http://perlmonks.org',
  'http://www.pm.org',
  'http://kiev.pm.org',
  'http://www.parrot.org',
  'http://www.parrotcode.ks.ua',
 );
 my $async = HTTP::Async->new;
 my $max_connects = 3;
 my $cnt = @urls > $max_connects ? $max_connects : @urls;
 add_request() foreach (1 .. $cnt);
 while ( my $res = $async->wait_for_next_response ) {
  if($res->is_success()) {
    print "Succeeded for '", $res->request->url, "'\n";
   # print $res->content, "\n";
  }
  add_request();
 }
 sub add_request {
  my $url = shift @urls or return;
  my $req = HTTP::Request->new(GET => $url,
  ['User-Agent' => "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"]);
  $async->add($req);
 }

//В это пример первоначально создается $max_connects запросов и по мере их завершения, создаются все новые и новые.
//Все очень просто. Но опять у меня проснулась любопытство: а нельзя это все таки для такой конвейерной обработки приспособить модуль LWP::Parallel::UserAgent?
//Оказалось можно. Для этого просто нужно переопределить события on_return и on_failure:

$SIG{PIPE} = 'IGNORE';
 use LWP::Parallel::UserAgent;
 my @urls    = (
   'http://www.perl.com',
   'http://www.perl.org',
   'http://perlmonks.org',
   'http://www.pm.org',
   'http://kiev.pm.org',
   'http://www.parrot.org',
   'http://www.parrotcode.ks.ua',
 );
 my $ua = LWP::Parallel::UserAgent->new();
 $ua->agent("Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)");
 $ua->nonblock(1);
 my $max_connects = 3;
 my $cnt = @urls > $max_connects ? $max_connects : @urls;
 add_request() foreach (1 .. $cnt);
 sub add_request {
  my $url = shift @urls or return;
  my $req = HTTP::Request->new(GET => $url);
  $ua->register($req);
 } 
 {
 no warnings;
 sub LWP::Parallel::UserAgent::on_return  {
   my ($self, $request, $response, $entry) = @_;
   if($response->is_success()) {
     print "Succeeded for '", $response->request->url, "'\n";
   }
   add_request();
  }
 sub LWP::Parallel::UserAgent::on_failure { add_request() }
 }
 my $entries = $ua->wait(3);

//Что ж не так красиво, как при использовании HTTP::Async, но свою задачу этот код выполняет. Разве что очень не понравилась необходимость установить $SIG{PIPE} = 'IGNORE';

client, http, perl, request, response, url

01es

nick

29.11.2008

Меню

Подписка на RSS:

Подпишись на RSS-ленту

Поиск

Облако тегов

	Интернет → Асинхронный конвейер HTTP клиентов → Perl Задача сводилась к тому, чтобы по мере обработки читать с файла новые url, асинхронно запрашивать страницы и записывать HTTP ответы в файлы. Конечно можно было все сделать последовательно, но уж больно много времени потребовалось бы на это. Как оказалось, для организации такого конвейера более подходит модуль HTTP::Async, а не LWP::Parallel::UserAgent. Вот примерный код, который использовался для этого (работа с файлами опущена): use HTTP::Message 1.57; use HTTP::Request; use HTTP::Async; my @urls = ( 'http://www.perl.com', 'http://www.perl.org', 'http://perlmonks.org', 'http://www.pm.org', 'http://kiev.pm.org', 'http://www.parrot.org', 'http://www.parrotcode.ks.ua', ); my $async = HTTP::Async->new; my $max_connects = 3; my $cnt = @urls > $max_connects ? $max_connects : @urls; add_request() foreach (1 .. $cnt); while ( my $res = $async->wait_for_next_response ) { if($res->is_success()) { print "Succeeded for '", $res->request->url, "'\n"; # print $res->content, "\n"; } add_request(); } sub add_request { my $url = shift @urls or return; my $req = HTTP::Request->new(GET => $url, ['User-Agent' => "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"]); $async->add($req); } //В это пример первоначально создается $max_connects запросов и по мере их завершения, создаются все новые и новые. //Все очень просто. Но опять у меня проснулась любопытство: а нельзя это все таки для такой конвейерной обработки приспособить модуль LWP::Parallel::UserAgent? //Оказалось можно. Для этого просто нужно переопределить события on_return и on_failure: $SIG{PIPE} = 'IGNORE'; use LWP::Parallel::UserAgent; my @urls = ( 'http://www.perl.com', 'http://www.perl.org', 'http://perlmonks.org', 'http://www.pm.org', 'http://kiev.pm.org', 'http://www.parrot.org', 'http://www.parrotcode.ks.ua', ); my $ua = LWP::Parallel::UserAgent->new(); $ua->agent("Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"); $ua->nonblock(1); my $max_connects = 3; my $cnt = @urls > $max_connects ? $max_connects : @urls; add_request() foreach (1 .. $cnt); sub add_request { my $url = shift @urls or return; my $req = HTTP::Request->new(GET => $url); $ua->register($req); } { no warnings; sub LWP::Parallel::UserAgent::on_return { my ($self, $request, $response, $entry) = @_; if($response->is_success()) { print "Succeeded for '", $response->request->url, "'\n"; } add_request(); } sub LWP::Parallel::UserAgent::on_failure { add_request() } } my $entries = $ua->wait(3); //Что ж не так красиво, как при использовании HTTP::Async, но свою задачу этот код выполняет. Разве что очень не понравилась необходимость установить $SIG{PIPE} = 'IGNORE'; client, http, perl, request, response, url 01es nick 29.11.2008 Ваше имя Ваш E-mail (если хотите отслеживать комментарии) Дoкажи, что ты не робот Текст комментария	Меню CodeIgniter Алгоритмы Базы данных Дата и Время Интернет Интерфейс Мультимедиа ОС и Железо Работа с текстом Разное Технологии Файлы Подписка на RSS: Подпишись на RSS-ленту Поиск Облако тегов .net array asp bash browser charset check class clean convert count create css curl database date delete directory download element email equivalent extension file find form format function get height html http ie image javascript jquery load mysql number page perl php random scriplet send shell size sql string text time url utf8 variable vb visual basic width window xml xslt