Page 1 of 2 12 LastLast
Results 1 to 15 of 357

Thread: Скрипт автоматической скачки с rapidshare.com, depositfiles.com [Free User]

Hybrid View

Previous Post Previous Post   Next Post Next Post
  1. #1

    Post Скрипт автоматической скачки с rapidshare.com, depositfiles.com [Free User]

    Вот, написал для себя скрипт, может кому пригодится...

    Скрипт автоматически скачивает файлы по списку по протоколам http и ftp.
    Умеет автоматически скачивать с файлообменников rapidshare.com, depositfiles.com, letitbit.net, ...
    Скачивает как "Free User", со всеми положенными ожиданиями - получается не быстро, но зато без участия человека.
    Скрипт не пытается обойти какие-либо ограничения файлообменников, а просто автоматизирует ручные операции (тыканье мышкой, ожидание).
    Для некоторых файлообменников сделано скачивание с использованием логина/пароля.
    Можно добавить и другие файлообменники, на которых не требуется ввод CAPTCHA (символы с картинки).

    Web-интерфейса нет. Скрипт запускается из командной строки.
    Скачивание производится программой wget.

    Установка:

    Скачать скрипт dlq(2009-03-25).rar и положить файлы из архива в какой-нибудь каталог
    ( у меня это каталог /tmp/harddisk/home/dlq )

    прописать этот каталог в начале файла dlq.sh:
    (для версии от 09.08.2009 - это делать не нужно)
    Code:
    BASE_DIR=/tmp/harddisk/home/dlq        # базовый каталог
    при желании можно изменить и параметр DOWNLOAD_DIR = каталог, в который кладутся скачанные файлы,
    например чтобы файлы складывались на винчестер

    сделать файлы скриптов исполняемыми:
    Code:
    chmod u+x *.sh
    дополнительно нужно установить пакеты: wget, libcurl
    (для версии от 09.08.2009 - пакет libcurl устанавливать не требуется)


    Использование:

    записать список ссылок в файл files.queue, примерно вот так:
    Code:
    http://rapidshare.com/files/14993208/FGB.rar
    http://depositfiles.com/files/7yml3765p
    http://download.2gis.ru/arhives/2gisOmsk55.zip
    ftp://ftp.pwonline.ru/clientpw/full78/PW_Setup.exe
    http://login:password@download.2gis.ru/arhives/2GISShell-3.0.5.4.zip
    в этом примере:
    - первые две ссылки - это с файлообменников rapidshare, depositfiles
    - следующие - это обычные прямые ссылки (http, ftp)
    - последняя - прямая ссылка с указанием логина, пароля (login, password)

    и запустить скрипт:
    Code:
    ./dlq.sh
    вот пример лог-файла dlq.log: dlq_log.txt

    какие-то идеи при написании скрипта были "подсмотрены" здесь:
    Download Engine - скрипт для одно/многопоточной загрузки файлов
    и здесь:
    Lsd [Lightwell Shell Downloader fur Linux/Unix], RSDF, CCF, Premium Funktion...

    _________
    Изменения:
    09.08.2009 - выложил новую версию скрипта
    04.09.2009 - выложил новую версию скрипта ( + vip-file.com )
    27.09.2009 - выложил новую версию скрипта ( + letitbit.net )
    02.11.2009 - обновление плагинов letitbit.net, rapidshare.com, vip-file.com
    02.12.2009 - обновление плагина letitbit.net
    04.03.2010 - обновление плагина rapidshare.com [premium user]
    30.03.2010 - обновление плагина depositfiles.com [gold account]

    01.04.2010 - текущая версия скрипта
    15.05.2010 - обновление плагина letitbit.net
    Last edited by Serg0; 27-05-2010 at 10:18.

  2. #2
    Полезная весчь -- в том числе и для автоматизации не только на роутере

    Вот бы еще веб-морду... )

  3. #3
    Quote Originally Posted by Serg0 View Post
    Можно добавить и другие файлообменники, на которых не требуется ввод CAPTCHA.
    Ого! rapidshare отменила CAPTCHA?!
    Только отсюда и узнал...
    © 2008-2013 ABATAPA WL-500gP/128M / Asus RT-N16 / USB Flash / VLAN / PPPoE / VoIP / nShaper / NAS: iStor is607, Sarotech NAS-20, QNap 109 Pro / NFS / Принтер / etc

  4. #4
    А можно скрипт сделать еще и для Vip-file.com с премиум аккаунтом?

  5. #5
    Quote Originally Posted by DiD5 View Post
    А можно скрипт сделать еще и для Vip-file.com с премиум аккаунтом?
    Наверное можно, только у меня нет премиум аккаунта чтобы все это настраивать.

    А вообще для скачивания с премиум аккаунтами на форуме есть готовые скрипты/программы, которые более удобные чем этот скрипт.
    Например эти:
    "Download Engine - скрипт для одно/многопоточной загрузки файлов" http://wl500g.info/showthread.php?t=9947
    "ADOS — Замена Download Master " http://wl500g.info/showthread.php?t=10012

  6. #6
    Спасибо за ваше творение. Будет веб - будет вообще супер.

  7. #7
    c web мордой есть другие решения (http://rapidgetpro.ru/), а этот скрипт как раз ценен тем что работает из командной строки.
    Добавить бы ещё скачивание роликов с www.youtube.com
    Last edited by supremacy; 28-03-2009 at 07:06.

  8. #8
    Join Date
    Mar 2007
    Location
    Russia
    Posts
    170
    Quote Originally Posted by Serg0 View Post
    Вот, написал для себя скрипт, может кому пригодится...
    какие-то идеи при написании скрипта были "подсмотрены" здесь:
    "Download Engine - скрипт для одно/многопоточной загрузки файлов"
    А как ты смотришь на то, чтобы встроить свои доработки в Download Engine? Пиши в личку - согласуем.
    RT-N56U / Padavan FW

  9. #9
    при закрытии окна telnet выполнение скрипта перкращается
    что не так?

  10. #10
    Join Date
    Feb 2007
    Location
    Moscow, Russia
    Posts
    3,805
    Quote Originally Posted by brazhnikof View Post
    при закрытии окна telnet выполнение скрипта перкращается
    что не так?
    при запуске в конце строки добавить &

  11. #11
    Поскольку скрипт запускается из командной строки, то при обычном запуске скрипта
    и закрытии telnet/ssh сессии, работа скрипта тоже завершается.
    Чтобы этого не происходило, есть разные способы. Вот два из них:

    1-й способ:
    Запуск скрипта в фоновом режиме:
    ./dlq.sh >/dev/null 2>&1 &
    Но в этом случае на экране не будет видно состояния работы скрипта.
    Состояние можно будет контролировать по содержимому log-файла:
    tail dlq.log
    или по содержимому файла-очереди (кончилась очередь или нет):
    cat files.queue

    2-й способ:
    Использовать пакет screen (виртуальные терминалы)

    Установка: ipkg install screen

    Пример использования:
    - запустить новый виртуальный терминал: screen
    - запустить в нём в нём скрипт: ./dlq.sh
    - отключиться от виртуального терминала: ctrl+A D
    - закрыть telnet/ssh сессию
    ...
    - снова подключиться через telnet/ssh
    - подключиться к последнему виртуальному терминалу: screen -r

    В этом случае весь вывод скрипта на консоль, сохраняется в виртуальном териминале
    и всё это будет видно при последующем подключении к нему.


    Обсуждение этих способов можно посмотреть здесь:
    Как посмореть задачи в процессе?
    screen - это виртуальный терминал
    man screen

  12. #12
    Quote Originally Posted by Serg0 View Post
    2-й способ:
    Использовать пакет screen (виртуальные терминалы)

    Установка: ipkg install screen

    Пример использования:
    - запустить новый виртуальный терминал: screen
    - запустить в нём в нём скрипт: ./dlq.sh
    - отключиться от виртуального терминала: ctrl+A D
    - закрыть telnet/ssh сессию
    ...
    - снова подключиться через telnet/ssh
    - подключиться к последнему виртуальному терминалу: screen -r

    В этом случае весь вывод скрипта на консоль, сохраняется в виртуальном териминале
    и всё это будет видно при последующем подключении к нему.
    Возможен ли запуск виртуального терминала из автозапуска с последующим запуском в нем dlq.sh?
    (для того чтобы подключиться затем терминалом, зайти в данный screen и посмотреть ход выполнения).

    Как это сделать при автозагрузке?

  13. #13
    Quote Originally Posted by Megarem View Post
    А как ты смотришь на то, чтобы встроить свои доработки в Download Engine? Пиши в личку - согласуем.
    Использую для закачек исключительно Download Engine, был бы очень рад, если бы в него встроили эти доработки.
    Megarem, Serg0 , так что, объединение планируется?

  14. #14
    Quote Originally Posted by Dayran View Post
    Использую для закачек исключительно Download Engine, был бы очень рад, если бы в него встроили эти доработки.
    Megarem, Serg0, так что, объединение планируется?
    Я уже смотрел как бы прикрутить скрипты-плагины файлообменников к Download Engine, но пока не придумал как их можно состыковать. Предполагаю что при стыковке по большей части придётся править Download Engine. Может быть Megarem что-нибудь предложит?
    Last edited by Serg0; 04-09-2009 at 18:11.

  15. #15

    новая версия скрипта [04.09.2009]

    Изменения:

    -- Сделан плагин для файлообменника vip-file.com
    Чтобы скачивалось с использованием пароля, нужно записать этот пароль в файл dlq.passwords
    Пример файла dlq.passwords:
    Code:
    host          login     password
    -----------------------------------
    vip-file.com  xxxxxx    VMJ2191N4LF
    Если для vip-file.com пароль не задан, то скрипт будет пытаться скачивать без пароля если есть
    ссылка "Или качайте очень медленно и бесплатно". Если этой ссылки нет (т.е. сервер не предложил
    скачать бесплатно), то скрипт пытается самостоятельно составить такую ссылку и скачавает файл
    как будто эта ссылка есть.

    Но в режиме без пароля сервер отдаёт файл очень медленно - у меня получалось примерно ~1 килобайт/сек,
    иногда бывает ~10 килобайт/сек.

    Убрать пароль из файла dlq.passwords можно либо удалив целиком строчку, либо изменив имя сервера,
    например так:
    Code:
    -vip-file.com  xxxxxx    VMJ2191N4LF
    -- Сделан плагин для файлообменника hotfile.com
    Но пока я его делал, hotfile.com для некоторых файлов стал показывать картинки(captcha),
    поэтому скачиваются только те файлы, для которых картинки не показываются.

    -- Сделана возможность перед скачиванием ссылки проверять доступность сервера (ping),
    и в случае его недоступности - ожидать доступности XX минут.
    Проверка производится перед вычислением прямой ссылки и перед скачиванием файла.

    Время ожидания (в минутах) задаётся параметром ACCESS_TIMEOUT в начале скрипта dlq.sh
    Если указать 0 минут, то доступность не проверяется и не ожидается:
    Code:
    ACCESS_TIMEOUT=5  # время ожидания[минут] доступности сервера по ссылке (0 - доступность не проверять и не ожидать)
    Эта возможность может быть полезна, если при запуске скрипта соединение с Интернетом
    ещё не установилось или оно пропадает во время работы скрипта - чтобы в эти моменты
    ссылки не отмечались как плохие.
    Но могут быть и ложные срабатывания, когда на сервере запрещены ответы на ping. Надо понаблюдать...
    Attached Files Attached Files
    Last edited by Serg0; 17-09-2009 at 03:08.

Page 1 of 2 12 LastLast

Similar Threads

  1. Установка программ для чайника" (Новая редакция)
    By Rung in forum Russian Discussion - РУССКИЙ (RU)
    Replies: 722
    Last Post: 14-08-2019, 06:04
  2. Скрипт перезагрузки роутера
    By Andrey_3 in forum Russian Discussion - РУССКИЙ (RU)
    Replies: 95
    Last Post: 18-12-2016, 16:11
  3. Скрипт для диагностики Wi-Fi
    By Oleg in forum Russian Discussion - РУССКИЙ (RU)
    Replies: 19
    Last Post: 13-03-2016, 20:29
  4. Replies: 33
    Last Post: 09-07-2010, 14:30

Tags for this Thread

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •