Как скачать сайт к себе на диск целиком - Интернет - Интересные решения для программистов - Примеры кода

Интернет → Как скачать сайт к себе на диск целиком → Bash

Бывает, что хочется иметь локальную копию какого-то сайта, чтобы можно было её просматривать, не подключаясь к Интернет, или чтобы сохранить её на будущее, на случай, если «оригинал» исчезнет.
Сделать это легко. Я часто использую скрипт siteget, написанный Джильсом Орром. По сути это всего лишь вызов программы wget c «правильным набором опций»:

#!/bin/bash
#
#   siteget - Use wget to retrieve a website
#
if [ "$#" -ne "1" ]
then
   echo "$(basename ${0}) <URL>"
   echo ""
   echo "Get a website or book on the web using wget.  It's a one-liner, but"
   echo "it uses a lot of options, so I put it in a script.  Takes one option,"
   echo "a top-level URL."
   exit 1
fi

# --mirror gives infinite recursion, follows links ...
# --convert-links converts links for local viewing
# --no-verbose is a relatively quiet (but not silent) mode
# --no-parent won't traverse up the tree - don't know how this combines with
#    "page-requisites," but I hope the latter wins ... (seems to work well)
# --page-requisites get images (inline OR external) for local viewing
# --user-agent sets a user agent string because some sites send empty pages if
#    they don't like wget, so I use the string for what I'll be viewing with
#
wget --mirror --convert-links --no-verbose --no-parent --page-requisites \
   --user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" ${1}

bash, download, linux, mirror, site, wget

KOS_MOS

Джильсом Орром

16.07.2008

Меню

Подписка на RSS:

Подпишись на RSS-ленту

Поиск

Облако тегов

	Интернет → Как скачать сайт к себе на диск целиком → Bash Бывает, что хочется иметь локальную копию какого-то сайта, чтобы можно было её просматривать, не подключаясь к Интернет, или чтобы сохранить её на будущее, на случай, если «оригинал» исчезнет. Сделать это легко. Я часто использую скрипт siteget, написанный Джильсом Орром. По сути это всего лишь вызов программы wget c «правильным набором опций»: #!/bin/bash # # siteget - Use wget to retrieve a website # if [ "$#" -ne "1" ] then echo "$(basename ${0}) <URL>" echo "" echo "Get a website or book on the web using wget. It's a one-liner, but" echo "it uses a lot of options, so I put it in a script. Takes one option," echo "a top-level URL." exit 1 fi # --mirror gives infinite recursion, follows links ... # --convert-links converts links for local viewing # --no-verbose is a relatively quiet (but not silent) mode # --no-parent won't traverse up the tree - don't know how this combines with # "page-requisites," but I hope the latter wins ... (seems to work well) # --page-requisites get images (inline OR external) for local viewing # --user-agent sets a user agent string because some sites send empty pages if # they don't like wget, so I use the string for what I'll be viewing with # wget --mirror --convert-links --no-verbose --no-parent --page-requisites \ --user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" ${1} bash, download, linux, mirror, site, wget KOS_MOS Джильсом Орром 16.07.2008 Ваше имя Ваш E-mail (если хотите отслеживать комментарии) Дoкажи, что ты не робот Текст комментария	Меню CodeIgniter Алгоритмы Базы данных Дата и Время Интернет Интерфейс Мультимедиа ОС и Железо Работа с текстом Разное Технологии Файлы Подписка на RSS: Подпишись на RSS-ленту Поиск Облако тегов .net array asp bash browser charset check class clean convert count create css curl database date delete directory download element email equivalent extension file find form format function get height html http ie image javascript jquery load mysql number page perl php random scriplet send shell size sql string text time url utf8 variable vb visual basic width window xml xslt