Page 5 of 24 FirstFirst ... 3456715 ... LastLast
Results 61 to 75 of 357

Thread: Скрипт автоматической скачки с rapidshare.com, depositfiles.com [Free User]

  1. 09-09-2009, 07:58 #61
    Energy
    Energy is offline Junior Member
    Join Date
    Mar 2009
    Location
    Kemerovo
    Posts
    11
    Если скрипт будет висеть как демон, насколько он кушает и без того скромные ресурсы (память, процессорное время и т.д)?
    Если закачки будут не ежедневные, то стоит ли вешать как демона или запускать по мере надобности?
  2. 12-09-2009, 17:57 #62
    Serg0
    Serg0 is offline Senior Member
    Join Date
    Mar 2009
    Posts
    171
    Quote Originally Posted by igor77777 View Post
    Есть предложение к автору.
    В скрипте dlq.sh завести ещё одну переменную.
    Назовем её: DOWNLOAD_BASE_DIR
    По умолчанию, она может равняться BASE_DIR.
    И все переменные для закачки (DOWNLOAD_DIR, QUEUE_FILE, ...) можно назначить относительно DOWNLOAD_BASE_DIR.
    Это позволит, исправив только DOWNLOAD_BASE_DIR, развести сам скрипт и закачиваемые данные по разным каталогам, и даже устройствам (флешка и usb-винт).
    Например как у меня. Скрипт лежит на флешке, в /opt/etc/dlq
    А закачка ведется в винт, примонтированный в /home
    Да, лучше конечно раскладывать по разным каталогам:
    - неизменяемые файлы: скрипты
    - изменяемые файлы: файл-очередь, лог, ошибки, пароли
    - скачанные файлы
    В следующей версии сделаю ещё один параметр.

    Просто у меня винчестера нет, и всё лежит на внешней флэшке. Поэтому у меня все настройки и указывают в одно место.
  3. 12-09-2009, 18:35 #63
    Serg0
    Serg0 is offline Senior Member
    Join Date
    Mar 2009
    Posts
    171
    Quote Originally Posted by Energy View Post
    Если скрипт будет висеть как демон, насколько он кушает и без того скромные ресурсы (память, процессорное время и т.д)?
    Если закачки будут не ежедневные, то стоит ли вешать как демона или запускать по мере надобности?
    Конечно же, в целях экономии ресурсов, лучше запускать скрипт по мере необходимости. Это опять же, было бы удобнее делать через web-интерфейс.
    Хотя если роутер не загружен, то можно запускать и в режиме демона. Я посмотрел - у меня в режиме ожидания скрипт вместе со sleep занимает ~850КБ памяти. Процессорное время он практически не занимает.

    Я сам запускаю скрипт в одноразовом режиме только когда это нужно - наверное потому что редко скачиваю.

    Попробую сделать возможность мягкой остановки - остановка после завершения скачивания текущего файла.
  4. 12-09-2009, 19:03 #64
    Serg0
    Serg0 is offline Senior Member
    Join Date
    Mar 2009
    Posts
    171
    Сделал небольшой cgi-скрипт, который позволяет посмотреть экран screen-сеанса через web-страницу:
    Посмотреть экран screen-сеанса через web-страницу
    Есть версия с возможностью передачи нажатий клавиш в screen-сеанс.
    Может быть кому-нибудь пригодится в применении к местному dlq-скрипту.

    Quote Originally Posted by getikalex View Post
    Здается мне, дело идет к WEB морде контроля скрипта для рапиды и депозита:
    http://wl500g.info/showthread.php?t=19035
    удачи !
    Какие-то мысли есть, но web-интерфейс надо бы делать без привязки к запуску через screen.

    Сейчас предпринимаются попытки прикрутить к Download Engine местные скрипты-плагины для работы с файлообменниками. Думаю что получится.
    Тогда может быть и необходимсть в web-интерфейсе скрипта dlq отпадёт...
  5. 14-09-2009, 17:18 #65
    Megarem
    Megarem is offline Senior Member
    Join Date
    Mar 2007
    Location
    Russia
    Posts
    170
    Сделали первую версию объединенных скриптов. Прошу тестировать:
    http://wl500g.info/showpost.php?p=159885&postcount=163
    RT-N56U / Padavan FW
  6. 18-09-2009, 22:45 #66
    getikalex
    getikalex is offline Senior Member
    Join Date
    Dec 2007
    Posts
    351
    Что-то не получается у меня с vip-file. даю в files.queue ссылку:
    http://vip-file.com/download/3818.cf...nload.rar.html
    скрипт ее отрабатывает. в логе - все ок.
    2009-09-19 00:24:23 http://vip-file.com/download/3818.cf...nload.rar.html
    2009-09-19 00:24:23 downloading...
    2009-09-19 00:24:24 -=OK=-
    а в папке закачаных - html страничка Files_Dewnload.rar.html ....
    где косяк ?

    ЗЫ пароли отключил
    dlq.passwords
    host login password
    -----------------------------------
    -vip-file.com xxxxxx VMJ2191N4LF
  7. 19-09-2009, 13:02 #67
    Serg0
    Serg0 is offline Senior Member
    Join Date
    Mar 2009
    Posts
    171
    getikalex,
    В вашем логе что-то не видно следов работы плагина vip-file, похоже что у вас старая версия скрипта.
    Поддержка vip-file появилась в версии от [04.09.2009].

    Вот мой лог с этой же ссылкой:
    2009-09-19 17:05:39 ================================================== ==============================
    2009-09-19 17:05:39 http://vip-file.com/download/3818.cf...nload.rar.html
    2009-09-19 17:05:39 get url from [vip_file_com]...
    2009-09-19 17:05:40 -- Step.1:
    2009-09-19 17:05:42 mode - without password
    2009-09-19 17:05:42 free link not found, try self-construct free link
    2009-09-19 17:05:42 get url from [vip_file_com] - OK
    2009-09-19 17:05:42 url=http://vip-file.com/download3/aHR0cDovL3IyMDUudmlwLWZpbGUuY29tL2Rvd25sb2FkMTAvY2 YzNTE5NzllYTk3NWFmMmFlMjI1NWJlM190bTFwN2h6ZHZod2o1 ZHAyL0ZpbGVzX0Rld25sb2FkLnJhcnwxMTM0MzczfDM4MTguY2 YzNTE5NzllYTk3NWFmMmFlMjI1NWJlM3xGaWxlc19EZXdubG9h ZC5yYXJ8bGV0aXRiaXQubmV0fA==/cf351979ea975af2ae2255be3/Files_Dewnload.rar
    2009-09-19 17:05:44 downloading...
    серые строчки - это работа плагина vip-file

    2 All:
    вот более свежая версия плагина vip-file:
    Attached Files Attached Files
  8. 19-09-2009, 14:50 #68
    getikalex
    getikalex is offline Senior Member
    Join Date
    Dec 2007
    Posts
    351
    Все оказалось намного проще. Тормознул. Скрипт-то я переписал, а вот роутер не перезагрузил. После перезагрузки - пошло.

    PS Хотелось бы высказать еще одну хотелку.
    Скрипт качает ссылки по одной из файла. Но в то же время, пока качается первая ссылка с рапиды - вторая ждет. Но в то же время можно качать третью ссылку с депозита. и например пятую с vip-file и т.д.
    Может стоит как-то дополнить возможность подхвата второй скачки с другого и третьей с третьего файлообменника. Они по идее друг дружке не мешают.
    Last edited by getikalex; 19-09-2009 at 17:54.
  9. 22-09-2009, 19:07 #69
    getikalex
    getikalex is offline Senior Member
    Join Date
    Dec 2007
    Posts
    351
    Опять что-то непонятное.
    Дал список на рапиде:
    http://rapidshare.com/files/28134088...313.part01.rar
    http://rapidshare.com/files/28136336...313.part02.rar
    http://rapidshare.com/files/28149769...313.part03.rar
    http://rapidshare.com/files/28151380...313.part04.rar
    http://rapidshare.com/files/28152903...313.part05.rar
    http://rapidshare.com/files/28154345...313.part06.rar
    http://rapidshare.com/files/28155965...313.part07.rar
    http://rapidshare.com/files/28157508...313.part08.rar
    http://rapidshare.com/files/28158881...313.part09.rar
    http://rapidshare.com/files/28160327...313.part10.rar
    http://rapidshare.com/files/28161708...313.part11.rar
    http://rapidshare.com/files/28163115...313.part12.rar
    http://rapidshare.com/files/28164551...313.part13.rar
    http://rapidshare.com/files/28166279...313.part14.rar
    http://rapidshare.com/files/28168517...313.part15.rar
    http://rapidshare.com/files/28170331...313.part16.rar
    http://rapidshare.com/files/28172009...313.part17.rar
    http://rapidshare.com/files/28173791...313.part18.rar
    http://rapidshare.com/files/28175639...313.part19.rar
    http://rapidshare.com/files/28177512...313.part20.rar
    http://rapidshare.com/files/28179411...313.part21.rar
    http://rapidshare.com/files/28181400...313.part22.rar
    http://rapidshare.com/files/28182049...313.part23.rar
    лог работы прикреплен
    в результате закачало части 7-11 и 13-15.
    Остальные почемуто закачало под именем файла, но не реальное содержимое, а html станички....
    по логу видно, что он их реально не качал. (каждый кусок - 209 Mb, а он по логу их качает менее минуты, и только 7-11 и 13-15 реально качаются по времени закачки в логе более получаса.)
    Где может быть косяк ?

    ЗЫ У меня такое впечатление, что пока прога получала ссылку - кто-то из моей сети ( с моим внешним ІР) успевает поставить что-то свое на закачку. в результате ссылка дает такое: (Второе вложение к-примеру первый кусок) его как архив естественно просмотреть нельзя, но если просмотреть простым просмотрщиком - видно, что это html страница)
    Как с этим бороться ?
    Attached Files Attached Files
    Last edited by getikalex; 22-09-2009 at 19:20.
  10. 24-09-2009, 05:26 #70
    Serg0
    Serg0 is offline Senior Member
    Join Date
    Mar 2009
    Posts
    171
    getikalex,
    Да, видимо сосед успевает раньше начать скачивание файла.
    А скачанный rar-файл - это html-страница, в которой написано, что наш ip-адрес уже что-то скачивает:
    > Your IP address 195.16.77.41 is already downloading a file. Please wait until the download is completed.

    Rapidshare для больших файлов требует бОльшую задержку, чем для маленьких:
    4.5 MB --> 47 sec
    210 MB --> 149 sec
    поэтому на серых ip-адресах, сосед со своим маленьким файлом успевает раньше начать скачивание,
    и у нас скачивается уже не запрошенный файл, а html-страничка с предупреждением.
    Опередить соседа мы не можем, поэтому нам остаётся только как-то распознать что мы не успели
    и ждать пока сосед докачает.

    Надо подумать каким способом это можно распознать...
  11. 24-09-2009, 08:03 #71
    sauron093
    sauron093 is offline Senior Member
    Join Date
    Jul 2008
    Location
    МО Лобня
    Posts
    205
    Quote Originally Posted by Serg0 View Post

    Надо подумать каким способом это можно распознать...
    ну видимо после закачки нужно проверять размер скаченного файла если меньше определенного размера то искать в нем эту "волшебную" фразу или теги хтмл. если найдено то соответственно на повтор с большей задержкой ставить
    Asus WL-500W (firmware wl500w-1.9.2.7-d-r, rTorrent 0.8.4, ADOS, nShaper) + WD Elements 160Gb + БП AT 200W (+5V 18A )
  12. 28-09-2009, 06:31 #72
    Serg0
    Serg0 is offline Senior Member
    Join Date
    Mar 2009
    Posts
    171

    новая версия скрипта [27.09.2009]

    -- Сделан плагин для файлообменника letitbit.net
    Плагин умеет распознавать каптчу. Для работы плагина, нужно установить пакет libjpeg

    -- Сделана возможность мягкой остановки скрипта - остановка после завершения скачивания текущего файла.
    Для мягкой остановки нужно:
    - либо запустить скрипт dlq-stop.sh с параметром --soft :
    ./dlq-stop.sh --soft
    - либо самостоятельно создать файл-флаг /tmp/dlq.stop, например так:
    touch /tmp/dlq.stop

    -- Сделана возможность проверки скачанного файла: а не скачалась ли вместо нужного файла web-страничка с каким-нибудь предупреждением файлообменника?
    Это может быть полезно тем, у кого серый ip-адрес: когда сосед успевает раньше начать скачивание с этого же файлообменника, и нам уже вместо нужного файла приходит web-страничка с предупреждением что наш ip уже что-то скачивает.
    Раньше в этом случае ссылка записывалась как отработанная, но фактически нужный файл не был скачан.
    Теперь есть возможность проверять скачанный файл, и при обнаружении web-странички, файл будет пытаться скачиваться снова.

    Эта возможность настраивается с помощью параметра:
    Code:
    CHECKHTML_SIZE=50  # макс.размер[KB] скачанного файла для проверки =html? (закомментировать чтобы не проверять)
    Ну и можно выставить: файлы до какого размера [в килобайтах] нужно проверять. Файлы бОльшего размера не проверяются.

    Чтобы отключить эту проверку, нужно закомментировать параметр CHECKHTML_SIZE.
    По умолчанию эта проверка отключена.

    Пример такой ситуации есть здесь.

    -- Добавлен параметр конфигурации:
    Code:
    VARFILES_DIR=$BASE_DIR    # каталог для изменяемых файлов
    В этом каталоге лежат изменяемые файлы скрипта: files.queue, files.done, files.error, dlq.passwords, dlq.failed_html
    По умолчанию этот каталог равен базовому каталогу (каталог программы), но его можно изменить, в этом случае нужно будет переместить изменяемые файлы в выбранный каталог.

    Кроме того можно изменить и параметр DOWNLOAD_DIR, чтобы скачанные файлы складывались в нужный каталог, например в каталог на жестком диске.

    Итого может быть три каталога:
    - BASE_DIR - неизменяемые файлы: скрипты
    - VARFILES_DIR - изменяемые файлы: файл-очередь, ошибки, лог, пароли
    - DOWNLOAD_DIR - скачанные файлы
    все каталоги указыватся без слэша в конце
    Attached Files Attached Files
  13. 28-09-2009, 08:37 #73
    Deman81
    Deman81 is offline Junior Member
    Join Date
    Dec 2008
    Posts
    7
    Serg0, большое спасибо за труды, скрипт отличный!
    Но проверку на скачивание Web-страницы можно сделать немного по другому т.к. в шапке каждой страницы есть что-нибудь вроде этого:
    <!DOCTYPE html ...>, <html> ... </html>, <head> ... </head>, <body> ... </body> и т.д.
    Можно просканировать файл на наличие "<!DOCTYPE html" или "<html>" в начале файла и на "</html>" в конце.
    Так на мой взгляд будет правильнее, но конечно реализовать это сложнее.
  14. 28-09-2009, 19:57 #74
    getikalex
    getikalex is offline Senior Member
    Join Date
    Dec 2007
    Posts
    351
    Попробовал... Качает !
    RESPECT !!!
    Отличная работа, и по функциональности даст фору другим качалкам со всякими графическими прибамбасами.
  15. 29-09-2009, 18:39 #75
    getikalex
    getikalex is offline Senior Member
    Join Date
    Dec 2007
    Posts
    351
    Все отлично работает, но нет предела совершенству.
    Попробую еще раз высказать хотелку. ИМХО это из разряда возможного.
    PS Скрипт качает ссылки по одной из файла. Но пока качается первая ссылка с рапиды - вторая ждет. В то же время можно качать третью ссылку с депозита. и например пятую с vip-file и т.д.
    Может стоит как-то дополнить возможность подхвата второй скачки с другого и третьей с третьего файлообменника. Они по идее друг дружке не мешают.
Page 5 of 24 FirstFirst ... 3456715 ... LastLast
« Previous Thread | Next Thread »

Similar Threads

  1. Установка программ для чайника" (Новая редакция)
    By Rung in forum Russian Discussion - РУССКИЙ (RU)
    Replies: 722
    Last Post: 14-08-2019, 06:04
  2. Скрипт перезагрузки роутера
    By Andrey_3 in forum Russian Discussion - РУССКИЙ (RU)
    Replies: 95
    Last Post: 18-12-2016, 16:11
  3. Скрипт для диагностики Wi-Fi
    By Oleg in forum Russian Discussion - РУССКИЙ (RU)
    Replies: 19
    Last Post: 13-03-2016, 20:29
  4. Скрипт "Установка программ для чайника" (старая редакция)
    By valerakvb in forum Russian Discussion - РУССКИЙ (RU)
    Replies: 33
    Last Post: 09-07-2010, 14:30

Tags for this Thread

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •  

Forum Rules