Как скачать файл по ссылке linux

wget

wget — текстовая программа для скачивания файлов.

Если возможностей wget не хватает, то можно использовать curl.

Примеры

Просто скачать файл wget-ом:

wget ftp://vasya.pupkin.com/film.avi

Для продолжения оборвавшейся закачки пишем:

wget -c ftp://vasya.pupkin.com/film.avi

wget --continue ftp://vasya.pupkin.com/film.avi

Как и в других программах, ключи имеют короткую и длинную формы, и вместо -с можно написать -continue . Длинные ключи проще запомнить, но дольше писать. Можно легко смешивать различные формы написания.

Чтобы выкачать файлы из списка, содержащего прямые ссылки:

wget -i pupkinlist.txt

wget --input-file=pupkinlist.txt

Здесь указывается только файл, в котором содержатся ссылки. Файл может так же быть HTML -страницей, в которой есть ссылки. Они будут выкачаны указанной выше командой.

Использование а-ля «Teleport Pro for Linux».

При скачивании веб-сайтов возможностей больше, и поэтому требуется больше ключей. Опять-таки, запоминать их все не обязательно, можно сделать скрипт (а лучше несколько — под разные случаи) и вызывать их.

Так вот, если имеется веб-сайт, и хотелось бы иметь его локальную копию на компьютере, чтобы, отключившись от сети, можно было не торопясь его почитать.

Зеркалирование сайтов на локальную машину:

wget -m http://www.vasyapupkin.com/

-m эквивалентно -r -N -l inf -nr , эти опции описаны ниже.

При этом ссылки останутся абсолютными — то есть, будут указывать на Интернет-адреса, и удобно просматривать на локальной машине будет затруднительно.

Копирование сайта для локального просмотра (с заменой интернет-ссылок на локальные адреса скачанных страниц):

wget -r -l0 -k http://www.vasyapupkin.com/

При этом будет включена рекурсивная выгрузка (ключ -r, –recursive),

Опции

В wget имеется большое количество полезных опций — побольше, чем у Teleport’а флажков. Будучи завёрнутым в скрипт, например, teleport и положенным на видное место (указанное в PATH ), имеем удобство применения и богатство настроек.

-np , –no-parent — не подниматься выше начального адреса при рекурсивной загрузке.

-r , –recursive — включить рекурсивный просмотр каталогов и подкаталогов на удалённом сервере.

-l , –level= — определить максимальную глубину рекурсии равной depth при просмотре каталогов на удалённом сервере. По умолчанию depth=5.

-np , –no-parent — не переходить в родительский каталог во время поиска файлов. Это очень полезное свойство, поскольку оно гарантирует, что будут копироваться только те файлы, которые расположены ниже определённой иерархии.

-A , –accept , -R , –reject — список имен файлов, разделенных запятыми, которые следует (accept) или не следует (reject) загружать. Разрешается задание имен файлов по маске.

-k , –convert-links — превратить абсолютные ссылки в HTML документе в относительные ссылки. Преобразованию подвергнутся только те ссылки, которые указывают на реально загруженные страницы; остальные не будут преобразовываться. Заметим, что лишь в конце работы wget сможет узнать какие страницы были реально загружены. Следовательно, лишь в конце работы wget будет выполняться окончательное преобразование.

–http-user= , –http-passwd= — указать имя пользователя и пароль на HTTP -сервере.

-H , –span-hosts — разрешает посещать любые сервера, на которые есть ссылка.

-p , –page-requisites — загружать все файлы, которые нужны для отображения страниц HTML . Например: рисунки, звук, каскадные стили ( CSS ). По умолчанию такие файлы не загружаются. Параметры -r и -l , указанные вместе могут помочь, но т.к. wget не различает внешние и внутренние документы, то нет гарантии, что загрузится все требуемое.

Как скачивать файлы в Linux с помощью Curl

Curl — одна из наиболее часто используемых утилит Linux. Он встроен во многие инструменты графического интерфейса и используется практически во всем. В результате он очень надежен и является одним из лучших инструментов, которые пользователи могут использовать для загрузки файлов.

В этом руководстве мы покажем вам, как работает программа Curl и как с ее помощью загружать файлы. Мы даже рассмотрим изящное приложение Curl с графическим интерфейсом!

Установка Curl

Хотя Curl, возможно, является одной из наиболее часто используемых программ во всем Linux, она не всегда предустановлена. В результате мы должны рассказать вам, как установить Curl, прежде чем продемонстрировать, как он работает.

Чтобы установить Curl на вашем Linux PC, откройте окно терминала, нажав Ctrl + Alt + T . После этого следуйте приведенным ниже инструкциям по установке, которые соответствуют используемой вами операционной системе.

Ubuntu

В Ubuntu установите Curl с помощью команды Apt.

sudo apt install curl

Debian

В Debian заставьте Curl работать с Apt-get.

sudo apt-get install curl

Arch Linux

Те, кто использует Arch Linux, могут установить Curl с Pacman.

sudo pacman -S curl

Fedora

Если вы используете Fedora, вы можете установить Curl с помощью Dnf .

sudo dnf install curl

OpenSUSE

В OpenSUSE установите Curl с помощью команды Zypper .

sudo zypper install curl

Скачать с помощью Curl — командная строка

Если вы новичок в Curl, начните с открытия терминала. Вы можете открыть окно терминала на рабочем столе Linux, нажав Ctrl + Alt + T комбинацию клавиш. Вы также можете найти «Терминал» в меню приложения.

В открытом окне терминала используйте команду man curl , чтобы просмотреть руководство по Curl. Прочтите его и ознакомьтесь с приложением. После этого следуйте приведенным ниже разделам, чтобы узнать, как загружать файлы с помощью Curl в терминал.

Скачивание одного файла

Загрузить один файл с помощью Curl очень просто. Для начала необходимо указать URL-адрес файла. Например, чтобы загрузить Ubuntu 20.04 LTS ISO, вы должны указать такой URL-адрес.

curl https://mirror.math.princeton.edu/pub/ubuntu-iso/20.04/ubuntu-20.04.2.0-desktop-amd64.iso

После указания удаленного URL-адреса файла, который вы хотите загрузить, вы должны выбрать место для загрузки. Чтобы указать место загрузки, добавьте символ > , за которым следует путь, по которому должен идти файл.

Например, чтобы указать вашему ISO-файлу Ubuntu 20.04 LTS загрузку в каталог «Downloads», вы должны добавить > ~/Downloads/ubuntu-20.04.2.0-desktop-amd64.iso .

curl https://mirror.math.princeton.edu/pub/ubuntu-iso/20.04/ubuntu-20.04.2.0-desktop-amd64.iso > ~/Downloads/ubuntu-20.04.2.0-desktop-amd64.iso

Как только команда получит URL-адрес удаленного файла и место для его сохранения, нажмите клавишу Enter, чтобы выполнить загрузку. Вскоре после этого вы увидите прогресс загрузки, а также скачивание вашего файла. Когда он будет завершен, откройте файловый менеджер Linux, чтобы получить доступ к вашему файлу.

Загрузка нескольких файлов из списка

Можно загрузить несколько файлов из списка в Curl, как и в Wget. Для этого начните с создания своего списка. Сначала с помощью сенсорной команды создайте пустой текстовый файл с именем «curl_downloads.txt».

touch ~/curl_downloads.txt

Затем откройте текстовый файл curl_downloads.txt (расположенный в вашей домашней папке) с помощью вашего любимого текстового редактора. После этого вставьте ссылки на каждый файл, который хотите скачать.

Например, чтобы загрузить ISO-образ Ubuntu, ISO-образ Fedora и ISO-образ Debian, мой список curl_downloads.txt должен содержать следующий код.

https://mirror.math.princeton.edu/pub/ubuntu-iso/20.04/ubuntu-20.04.2.0-desktop-amd64.iso

https://download.fedoraproject.org/pub/fedora/linux/releases/33/Workstation/x86_64/iso/Fedora-Workstation-Live-x86_64-33-1.2.iso

https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-10.9.0-amd64-netinst.iso

Сохраните изменения в файле «curl_downloads.txt», используя функцию сохранения текстового редактора. Затем подайте его в команду Curl, чтобы загрузить все в списке. Обратите внимание, что мы используем xargs в сочетании с curl, чтобы можно было загружать несколько файлов.

xargs -n 1 curl -O < ~/curl_downloads.txt

Нажмите клавишу Enter, чтобы начать процесс загрузки. Пожалуйста, поймите, что при использовании команды xargs для загрузки нескольких файлов указать место загрузки невозможно. Ваши загрузки появятся в домашнем каталоге (/home/USERNAME/).

Загрузка с помощью Curl — графический интерфейс

Если вам нравится идея Curl, но вы предпочитаете графический интерфейс для загрузки файлов, вы можете использовать приложение Curl GUI. Это бета-приложение, созданное еще в 2007 году, но оно по-прежнему работает в современных ОС Linux и добавляет удобный графический интерфейс в Curl.

Для начала необходимо установить программу. Программа представляет собой сценарий Perl, и для ее работы требуется пакет «perl-tk». Чтобы установить его, откройте окно терминала и введите команду ниже, соответствующую вашей ОС.

sudo apt install perl-tk

sudo apt-get install perl-tk

sudo pacman -S perl-tk

Linux команда wget. Скачивать файлы из интернета через SSH

В сегодняшней статьи я вам расскажу о таком инструменте в Linux как wget. С помощью команды wget можно скачивать контент из интернета. Название wget состоит из комбинации слов world wide web и get. Инструмент поддерживает протоколы скачивания по FTP, SFTP, HTTP, HTTPS.

1. Скачиваем инструмент wget.
2. Синтаксис команды wget.
3. Примеры команды wget.

1. Скачиваем инструмент wget.

Инструмент wget не поставляется вместе с Linux, по этому нам нужно его скачать, для этого воспользуемся командой.

$. yum install wget

На момент записи статьи я уже себе установил wget, потому он мне говорит что данный пакет уже установлен.

2. Синтаксис команды wget.

wget [параметры] url

• -P - скачивание файла в указанную директорию
• -c - продолжить скачивать файл в случаи обрыва интернета
• -O - скачивание файла и сохранение под другим именем
• --tries=10 - количество попыток на скачивание
• --limit-rate=200k - ограничение скорости по скачиванию
• -R bmp - не скачивать файлы с расширениям bmp
• -A png,jpg - скачивать только изображения

3. Примеры команды wget.

3.1. Самый простой способ скачать файл это указать команду wget и за ней сразу ссылку на файл.

3.2. Второй способ скачивания файла, это то в какую директорию мы хотим скачивать файл. В данном случаи я хочу скачать файл в директорию /root/mysql. За это отвечает параметр (-P).

$. wget -P /root/mysql https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-community-client-8.0.29-1.el8.aarch64.rpm

3.3. При скачивании файла можно сразу менять его имя, например сейчас я буду скачивать файл и назову его mysql-client.rpm. За это отвечает параметр (-O).

$. wget -O mysql-client.rpm https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-community-client-8.0.29-1.el8.aarch64.rpm

3.4. Бывают случаи когда вы хотите что-то скачать очень большое, но не хотите чтобы скачивания файла забирало весь ваш трафик. Для ограничения трафика отвечает параметр (--limit-rate=200k).

$. wget --limit-rate=200k https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-community-client-8.0.29-1.el8.aarch64.rpm

Всем спасибо, я надеюсь что вам моя статья хоть чем-то помогла.

Как скачать файл с сети в консоли?

Wget - это консольная утилита, которая позволяет скачивать файлы с сети через различные протоколы. Эта программка обладает огромными возможностями, позволяет скачивать файлы из списка, производить докачку файлов, автоматически добавляет логин и пароль при скачивании с анонимного ftp сервера и многое другое. Также к достоинствам данной программуленки относится тот факт, что она является мультиплатформенной (существует для windows, linux и mac os x).

Чтобы скачать любой файл при помощи этой утилиты необходимо ввести простенькую команду:
wget http://shkola-linux.ru/files/file.dat

Эта команда скачает файл file.dat в тот каталог, где эта команда была запущена.

Параметр -P позволяет сохранять скачаный файл сохранять в любой каталог, здесь в /home/user

wget -i /home/user/url.dat

Параметр -i позволяет произвести закачку всех ссылок, сохраненных в файле /home/user/url.dat

Программа wget умеет автоматически подставлять логин и пароль при необходимости.

Скачивание файла в фоновом режиме.

Парметр -c позволяет производить докачку ранее недокаченого файла.

Создание локальной копии сайта.
wget -r -l0 -k http://shkola-linux.ru/

-r - этот параметр заставляет автоматически находить ссылки на файлы и скачивать их (рекурсивный обход)

-l0 - глубина закачки ссылок, здесь использавана нулевая глубина, которая закачает весь сайт, если мы поставим параметр -l 5 , то сайт скачается только до 5 уровня ссылок.

-k - преобразует все ссылки в документах html в локальные ссылки, которые можно просматривать локально.

С помощью команды man, вы сможете узнать все параметры программы wget
man wget

Поделиться:

Оставьте свой комментарий!