Bekijk de volledige versie : Скрипт автоматической скачки с rapidshare.com, depositfiles.com [Free User]
Вот, написал для себя скрипт, может кому пригодится...
Скрипт автоматически скачивает файлы по списку по протоколам http и ftp.
Умеет автоматически скачивать с файлообменников rapidshare.com, depositfiles.com, letitbit.net, ...
Скачивает как "Free User", со всеми положенными ожиданиями - получается не быстро, но зато без участия человека.
Скрипт не пытается обойти какие-либо ограничения файлообменников, а просто автоматизирует ручные операции (тыканье мышкой, ожидание).
Для некоторых файлообменников сделано скачивание с использованием логина/пароля.
Можно добавить и другие файлообменники, на которых не требуется ввод CAPTCHA (символы с картинки).
Web-интерфейса нет. Скрипт запускается из командной строки.
Скачивание производится программой wget.
Установка:
Скачать скрипт 4542 и положить файлы из архива в какой-нибудь каталог
( у меня это каталог /tmp/harddisk/home/dlq )
прописать этот каталог в начале файла dlq.sh:
(для версии от 09.08.2009 - это делать не нужно)
BASE_DIR=/tmp/harddisk/home/dlq # базовый каталог
при желании можно изменить и параметр DOWNLOAD_DIR = каталог, в который кладутся скачанные файлы,
например чтобы файлы складывались на винчестер
сделать файлы скриптов исполняемыми:
chmod u+x *.sh
дополнительно нужно установить пакеты: wget, libcurl
(для версии от 09.08.2009 - пакет libcurl устанавливать не требуется)
Использование:
записать список ссылок в файл files.queue, примерно вот так:
http://rapidshare.com/files/14993208/FGB.rar
http://depositfiles.com/files/7yml3765p
http://download.2gis.ru/arhives/2gisOmsk55.zip
ftp://ftp.pwonline.ru/clientpw/full78/PW_Setup.exe
http://login:password@download.2gis.ru/arhives/2GISShell-3.0.5.4.zip
в этом примере:
- первые две ссылки - это с файлообменников rapidshare, depositfiles
- следующие - это обычные прямые ссылки (http, ftp)
- последняя - прямая ссылка с указанием логина, пароля (login, password)
и запустить скрипт:
./dlq.sh
вот пример лог-файла dlq.log: 4544
какие-то идеи при написании скрипта были "подсмотрены" здесь:
Download Engine - скрипт для одно/многопоточной загрузки файлов (http://wl500g.info/showthread.php?t=9947)
и здесь:
Lsd [Lightwell Shell Downloader fur Linux/Unix], RSDF, CCF, Premium Funktion... (http://board.gulli.com/thread/1302690-lsd-lightwell-shell-downloader-fr-linuxunix-rsdf-ccf-premium-funktion/2/)
_________
Изменения:
09.08.2009 (http://wl500g.info/showthread.php?p=155513) - выложил новую версию скрипта
04.09.2009 (http://wl500g.info/showthread.php?p=158603) - выложил новую версию скрипта ( + vip-file.com )
27.09.2009 (http://wl500g.info/showthread.php?p=161882) - выложил новую версию скрипта ( + letitbit.net )
02.11.2009 (http://wl500g.info/showthread.php?p=167319) - обновление плагинов letitbit.net, rapidshare.com, vip-file.com
02.12.2009 (http://wl500g.info/showthread.php?p=172588) - обновление плагина letitbit.net
04.03.2010 (http://wl500g.info/showthread.php?p=187635) - обновление плагина rapidshare.com [premium user]
30.03.2010 (http://wl500g.info/showthread.php?p=192329) - обновление плагина depositfiles.com [gold account]
01.04.2010 (http://wl500g.info/showthread.php?p=192718) - текущая версия скрипта
15.05.2010 (http://wl500g.info/showthread.php?p=197476) - обновление плагина letitbit.net
Полезная весчь -- в том числе и для автоматизации не только на роутере ;)
Вот бы еще веб-морду... )
Можно добавить и другие файлообменники, на которых не требуется ввод CAPTCHA.
Ого! rapidshare отменила CAPTCHA?! :)
Только отсюда и узнал...
А можно скрипт сделать еще и для Vip-file.com с премиум аккаунтом?
А можно скрипт сделать еще и для Vip-file.com с премиум аккаунтом?
Наверное можно, только у меня нет премиум аккаунта чтобы все это настраивать.
А вообще для скачивания с премиум аккаунтами на форуме есть готовые скрипты/программы, которые более удобные чем этот скрипт.
Например эти:
"Download Engine - скрипт для одно/многопоточной загрузки файлов" http://wl500g.info/showthread.php?t=9947
"ADOS — Замена Download Master " http://wl500g.info/showthread.php?t=10012
indapublic
27-03-2009, 09:28
Спасибо за ваше творение. Будет веб - будет вообще супер.
supremacy
28-03-2009, 07:01
c web мордой есть другие решения (http://rapidgetpro.ru/), а этот скрипт как раз ценен тем что работает из командной строки.
Добавить бы ещё скачивание роликов с www.youtube.com
indapublic
28-03-2009, 15:43
Скрипт должен проходить по всему списку в files.queue?
У меня закачивает первую ссылку и завершается. Приходится вручную ее удалять и снова запускать dlq.sh
Скрипт должен проходить по всему списку в files.queue?
У меня закачивает первую ссылку и завершается. Приходится вручную ее удалять и снова запускать dlq.sh
Скорее всего прав не хватает. У меня отрабатывает нормально.
Скрипт должен проходить по всему списку в files.queue?
У меня закачивает первую ссылку и завершается. Приходится вручную ее удалять и снова запускать dlq.sh
Да, скрипт должен работать до тех пор, пока файл-список files.queue не станет пустым.
Странно почему он завершается... Даже если скрипт не смог удалить отработанную первую ссылку, то он должен начать обрабатывать её снова. Можно в лог-файле dlq.log посмотреть.
Насчет недостатка прав доступа - можно проверить:
Отработанная ссылка, т.е. первая строчка файла files.queue, удаляется с помощью команды:
sed -i '1d' files.queue
можно попробовать дать эту команду в командной строке и проверить - удалилась ли первая строка в файле files.queue
c web мордой есть другие решения (http://rapidgetpro.ru/), а этот скрипт как раз ценен тем что работает из командной строки.
Вроде бы как rapidgetpro.ru работает только с помощью web-сервера, который поддерживает php.
Здесь же в понятии web-морды имеется в виду управление работой данного скрипта: добавить/удалить ссылку на скачивание, посмотреть состояние очереди, передвинуть ссылки...
Да, это было бы удобнее. И web-морда по-видимому сможет работать и через уже имеющийся, встроенный web-сервер. А для скачивания файлов - web-сервер не нужен.
Вроде бы как rapidgetpro.ru работает только с помощью web-сервера, который поддерживает php.
Здесь же в понятии web-морды имеется в виду управление работой данного скрипта: добавить/удалить ссылку на скачивание, посмотреть состояние очереди, передвинуть ссылки...
Да, это было бы удобнее. И web-морда по-видимому сможет работать и через уже имеющийся, встроенный web-сервер. А для скачивания файлов - web-сервер не нужен.
Да-да-да, именно это я и подразумевал :)
Вот, написал для себя скрипт, может кому пригодится...
какие-то идеи при написании скрипта были "подсмотрены" здесь:
"Download Engine - скрипт для одно/многопоточной загрузки файлов"
А как ты смотришь на то, чтобы встроить свои доработки в Download Engine? Пиши в личку - согласуем.
brazhnikof
03-05-2009, 12:39
при закрытии окна telnet выполнение скрипта перкращается
что не так?
при закрытии окна telnet выполнение скрипта перкращается
что не так?
при запуске в конце строки добавить &
Поскольку скрипт запускается из командной строки, то при обычном запуске скрипта
и закрытии telnet/ssh сессии, работа скрипта тоже завершается.
Чтобы этого не происходило, есть разные способы. Вот два из них:
1-й способ:
Запуск скрипта в фоновом режиме:
./dlq.sh >/dev/null 2>&1 &
Но в этом случае на экране не будет видно состояния работы скрипта.
Состояние можно будет контролировать по содержимому log-файла:
tail dlq.log
или по содержимому файла-очереди (кончилась очередь или нет):
cat files.queue
2-й способ:
Использовать пакет screen (виртуальные терминалы)
Установка: ipkg install screen
Пример использования:
- запустить новый виртуальный терминал: screen
- запустить в нём в нём скрипт: ./dlq.sh
- отключиться от виртуального терминала: ctrl+A D
- закрыть telnet/ssh сессию
...
- снова подключиться через telnet/ssh
- подключиться к последнему виртуальному терминалу: screen -r
В этом случае весь вывод скрипта на консоль, сохраняется в виртуальном териминале
и всё это будет видно при последующем подключении к нему.
Обсуждение этих способов можно посмотреть здесь:
Как посмореть задачи в процессе? (http://wl500g.info/showthread.php?t=12776)
screen - это виртуальный терминал (http://wl500g.info/showthread.php?p=38147&#post38147)
man screen (http://xgu.ru/wiki/Man:screen)
mr-butch
06-05-2009, 11:36
2-й способ:
Использовать пакет screen (виртуальные терминалы)
Установка: ipkg install screen
Пример использования:
- запустить новый виртуальный терминал: screen
- запустить в нём в нём скрипт: ./dlq.sh
- отключиться от виртуального терминала: ctrl+A D
- закрыть telnet/ssh сессию
...
- снова подключиться через telnet/ssh
- подключиться к последнему виртуальному терминалу: screen -r
В этом случае весь вывод скрипта на консоль, сохраняется в виртуальном териминале
и всё это будет видно при последующем подключении к нему.
Возможен ли запуск виртуального терминала из автозапуска с последующим запуском в нем dlq.sh?
(для того чтобы подключиться затем терминалом, зайти в данный screen и посмотреть ход выполнения).
Как это сделать при автозагрузке?
Возможен ли запуск виртуального терминала из автозапуска с последующим запуском в нем dlq.sh?
(для того чтобы подключиться затем терминалом, зайти в данный screen и посмотреть ход выполнения).
Как это сделать при автозагрузке?
Постмотрите тему про rtorrent, там реализован запуск в скрине, аналогично можно и любой другой скрипт запускать.
mr-butch
07-05-2009, 21:07
Постмотрите тему про rtorrent, там реализован запуск в скрине, аналогично можно и любой другой скрипт запускать.
Нашел лишь следующий пример:
/opt/bin/screen -dmS dlq /tmp/harddisk/dlq.sh 2>&1 > /tmp/harddisk/dlq_start
Никак не смог заставить запускаться :-( Подскажите пожалуйста с каким ключом нужно запускать sh файл?
Возможен ли запуск виртуального терминала из автозапуска с последующим запуском в нем dlq.sh?
(для того чтобы подключиться затем терминалом, зайти в данный screen и посмотреть ход выполнения).
Как это сделать при автозагрузке?
по-видимому нужно в скрипт /usr/local/sbin/post-mount дописать команду:
/opt/bin/screen -dmS dlq /tmp/harddisk/home/dlq/dlq.sh
где:
dlq - это имя сеанса виртуального терминала, чтобы потом можно было найти нужный сеанс среди нескольких сеансов,
/tmp/harddisk/home/dlq/ - здесь у меня лежит скрипт dlq.sh
Только при таком запуске, если скрипт dlq доработает до конца и завершится, то и виртуальный терминал тоже завершит свою сессию.
Большое спасибо автору за скрипт. Работает как часы. Ждем новых плагинов для других файл-серверов :)
Присоединяюсь! Очень полезный скрипт.
Единственная проблема (возможно только у меня?) - когда в списке на скачивание стоят ссылки на депозит одна за другой, первая закачивается, а последующие нет. Нескаченные ссылки уходят в файл files.error. С сылками с рапиды такого не происходит, скачиваются все последовательно друг за другом и без проблем. Поэтому пользую этот скрипт только под рапиду.... Как у других интересно?
Единственная проблема (возможно только у меня?) - когда в списке на скачивание стоят ссылки на депозит одна за другой, первая закачивается, а последующие нет. Нескаченные ссылки уходят в файл files.error.
Да, эта проблема с Депозитом есть - немного неправильно сделан плагин. В ближайшее время исправлю и выложу.
Также будет новый плагин для hotfile.com
Про запуск скрипта при включении роутера:
Для того, чтобы можно было запускать скрипт dlq.sh из post-mount,
нужно где-нибудь в начале скрипта dlq.sh вставить строчку (нужная строка выделена красным):
#!/bin/sh
# --- Download Queue Configuration ---
BASE_DIR=/tmp/harddisk/home/dlq # базовый каталог
DOWNLOAD_DIR=$BASE_DIR/downloads/ # каталог, в который кладутсЯ скачанные файлы
QUEUE_FILE=$BASE_DIR/files.queue # файл-список URL-ов длЯ скачиваниЯ
DONE_FILE=$BASE_DIR/files.done # список успешно скачанных URL-ов
ERROR_FILE=$BASE_DIR/files.error # список URL-ов, при скачивании которых произошла ошибка
LOG_FILE=$BASE_DIR/dlq.log # журнал работы программы
TEMP_HTML=$BASE_DIR/dlq.temp_html # временный .html-файл
FAILED_HTML=$BASE_DIR/dlq.failed_html # здесь сохранЯютсЯ временные .html-файлы длЯ дальнейших разборок
WGET=/opt/bin/wget
RC_OK=0 # return code = OK
RC_FAIL=1 # return code = FAIL
RC_DELAY=2 # return code = DELAY
PATH=/opt/sbin:/opt/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
#-------------------------------------------------------------------------------
# запись текста в log-файл
log() {
echo "$(date +'%F %T') $*" | tee -a $LOG_FILE
}
Да, эта проблема с Депозитом есть - немного неправильно сделан плагин. В ближайшее время исправлю и выложу.
Также будет новый плагин для hotfile.com
Спасибо! Будем ждать!
Подправил плагин для depositfiles.com, проверил - вроде работает.
Подправил плагин для depositfiles.com, проверил - вроде работает.
Спасибо. Сейчас проверим.
Nebulosa
21-05-2009, 07:57
Хм.. и что рапида даже не запрашивает данные по POST?
У меня для лучшей мимикрии под браузер скачивание файлов происходит так:
exp = "export http_proxy=http://...:3128&&" - если качаем через прокси
proxy= on или off
temp = rstemp - файл html для парсинга
useragent="Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; MRA 5.1 (build 02241)" :D Славься IE!
cookies=cookiesrs - файл для куков
link = "http://rapidshare.com/files/00000000/file"
1шаг
$exp wget -q --proxy=$proxy -O$temp -U"$useragent" --load-cookies=$cookies --save-cookies=$cookies $link
Парсим rstemp, получаем link2="http://rs000.rapidshare.com/files/000000000/file"
post="dl.start=Free"
2шаг
$exp wget -q --proxy=$proxy -O$temp -U"$useragent" --load-cookies=$cookies --save-cookies=$cookies --post-data="$post" $link2
Парсим rstemp, получаем link3="http://rs000ab0.rapidshare.com/files/000000000/0000000/file"
post="mirror=on&x=rand[10,100]&y=rand[10,100]" - эмулируем нажатие мышки на картинку download :D
3шаг
$exp wget -t1 -P$downdir --proxy=$proxy --referer="$link2" -U"$useragent" --load-cookies=$cookies --save-cookies=$cookies --post-data="$post" $link3
Как видите можно обойтись и без curl.
Если вам нужна такая логика работы, берите пользуетесь. :)
Nebulosa
21-05-2009, 08:32
Вдогонку
Для скачивания с yadadaba.ru
lnk=$(wget -q "$l" -O- | egrep -o "http:\/\/.*\/download\/[^\"]+")
filename=$( wget -q "$l" -O- | grep -m1 "<h1>" | cut -d">" -f2 | cut -d"<" -f1);
did=$( wget -q "$lnk" -O- | egrep -o "\?did=[0-9]+");
wget -c -O$folder/$filename "$lnk$did"
Для скачивания с mediafire.com у меня на php написано, но думаю логика будет понятна:
//1шаг
exec ($export."wget -q --proxy=".$proxy." -O".$temp." -U\"".$useragent."\" --load-cookies=".$cookies." --save-cookies=".$cookies." ".$link);
$file=file_get_contents($temp); unlink($temp);
//парсим файл
preg_match_all("/cu.'(.*?)','(.*?)','(.*?)'.;/",$file,$match); //выбираем параметры
//2шаг
$link2="\"http://www.mediafire.com/dynamic/download.php?qk=".$match[1][0]."&pk=".$match[2][0]."&r=".$match[3][0]."\"";
exec ($export."wget -q --proxy=".$proxy." -O".$temp." -U\"".$useragent."\" --load-cookies=".$cookies." --save-cookies=".$cookies." --referer=".$link." ".$link2);
$file=file_get_contents($temp);
unlink($temp);
preg_match("/var et= (.*?);var mL='(.*?)';var mH='(.*?)';var mY='(.*?)';.*? '([^!]+)';/",$file,$match); //выбирает нужные параметры из js скрипта
//3шаг
list(,$et,$mL,$mH,$mY,$salt)=$match;
if ($et==15) //et =15 - значит сервер принял нас как родного и готов отдать файл
{
$link2="\"http://".$mL."/".$salt."g/".$mH."/".$mY."\"";
//Ура, качаем!
exec ($export."wget -c --proxy=".$proxy." -P".$downdir." -U\"".$useragent."\" --load-cookies=".$cookies." --save-cookies=".$cookies." --referer=".$link." ".$link2);
}
else {echo "Error: $et\n"; print_r($match);}
Как видите можно обойтись и без curl.
Хм..., действительно, wget умеет делать POST-запросы. Как-то проглядел я это...
Тогда можно попробовать обойтись в этом скрипте без curl.
krasaval
07-07-2009, 21:20
Спасибо! Все работает!
Изменения:
-- Вместо программы curl используется wget
Теперь для работы скрипта не нужно устанавливать пакет libcurl
-- Скрипт можно запускать в режиме DAEMON, для этого при запуске нужно указать параметр --daemon
dlq.sh --daemon
В этом режиме по окончании очереди ссылок, скрипт остается работать и с интревалом 2 минуты проверяет файл-очередь на появление в нем новых ссылок.
Ссылки для скачивания можно по мере необходимости записывать в файл очереди - скрипт будет их подхватывать и скачивать. Дописывать в файл-очередь можно через шару. В этом случае не нужно будет заходить на роутер через telnet/ssh чтобы пнуть/запустить скрипт.
Только нужно учесть что файл-очередь изменяется скриптом в момент перехода к следующей ссылке, поэтому желательно при добавлении ссылок через шару, не держать долго открытым этот файл.
Для того, чтобы запустить скрипт dlq.sh при включении роутера, можно в скрипт /usr/local/sbin/post-mount
дописать команду:
/home/dlq/dlq.sh --daemon >/dev/null 2>&1 &
или с использованием виртуального терминала:
/opt/bin/screen -dmS dlq /home/dlq/dlq.sh --daemon
( /home/dlq/ - здесь у меня лежит скрипт dlq.sh )
-- Для остановки скрипта dlq.sh и его дочерних задач, нужно в терминальном сеансе, где запущен скрипт, нажать Ctrl-C
Или можно запустить скрипт dlq-stop.sh
Kabanchik
11-08-2009, 11:30
приветствую вас товарищи форумчане.
Я так понимаю, что все владельцы роутеров от asus программисты.
А я увы всеголиш юрист.
Есть wl-500w. В ходе эксплуатации узнал что не качает мастер с рапид точка ком.
Видел что есть программа для замены мастера закачек.
Но сам процесс установки описан так, что понять может только специалист.
Вобщем ай нид хелп
Serg0 большое спасибо за скрипт, все работает отлично. Единственное чего не хватает в этом скрипте - это проверки на то что есть соединение с интернет или нет. Из-за этого после перезагрузки роутера при автоматическом старте скрипта связь с интернетом не успевает установиться и скрипт начинает писать ошибки в лог и пропускать закачки до тех пор пока связь не установится и так же происходит если вдруг связь с интернетом оборвалась.
Можно например сделать проверку на доступность интернета и отдельно хоста Rapidshre или Depositfiles вцелом при начале скачки с них, а при недоступности интернет или этих хостов можно сделать цикл проверки с паузой минуты две.
Огромное спасибо за скрпит! Пользую его постоянно. Замечательная вещь. Еще бы добавить возможность закачек с других популярных файлообменников :)
Serg0 большое спасибо за скрипт, все работает отлично. Единственное чего не хватает в этом скрипте - это проверки на то что есть соединение с интернет или нет. Из-за этого после перезагрузки роутера при автоматическом старте скрипта связь с интернетом не успевает установиться и скрипт начинает писать ошибки в лог и пропускать закачки до тех пор пока связь не установится и так же происходит если вдруг связь с интернетом оборвалась.
Можно например сделать проверку на доступность интернета и отдельно хоста Rapidshre или Depositfiles вцелом при начале скачки с них, а при недоступности интернет или этих хостов можно сделать цикл проверки с паузой минуты две.
Для устранения проблемы при старте роутера можно вставить задержку перед запуском скрипта.
Например вот так:
sleep 1m
/home/dlq/dlq.sh --daemon >/dev/null 2>&1 &
Проверку на доступность Интернета тоже можно сделать. Попробую...
... Еще бы добавить возможность закачек с других популярных файлообменников :)
Какие файлообменники желательно сделать?
pirogkov
29-08-2009, 11:23
Какие файлообменники желательно сделать?
hotfile.com можно попробовать прикрутить.
п.с. юзаю скрипт на dd-wrt работает отлично. спасибо. ;)
Плагин для hotfile.com я сделал, но пока я его делал, hotfile для некоторых файлов стал показывать картинки(captcha), и скачиваются только те файлы, для которых картинки не показываются. Поэтому этот плагин я не стал сюда выкладывать. Но могу выложить.
Здесь просили сделать для vip-file.com с паролем.
Нужен ли он, если есть пароль?
Без пароля там тоже можно скачивать, но очень медленно - у меня получалось ~1 килобайт/сек.
pirogkov
29-08-2009, 16:45
hotfile для некоторых файлов стал показывать картинки(captcha), и скачиваются только те файлы, для которых картинки не показываются.
есть такое. а как ведет себя скрипт если hotfile просит капчу?
есть такое. а как ведет себя скрипт если hotfile просит капчу?
Пишет в лог "FAILED: required CAPTCHA", и завершает работу с этой ссылкой.
Ссылка записывается в файл с ошибками (files.error)
Я пробовал взять наугал несколько разных ссылок на hotfile.com - у меня получилось что большинство файлов просит каптчу :(
Какой-либо зависимости я не обнаружил - встречается что и большие файлы отдаёт без картинок.
getikalex
29-08-2009, 17:40
Скачка с рапиды у меня большая проблема, потому как ІР - серый, и приходится ждать, пока рапида разрешит с него качать.
Хотел попробовать скриптик, но как-то не догоняю - как он с рапиды будет качать без ввода капчи ?
А если капчу таки вводить надо, то и смысл как-то теряется.
Кто юзает - растолкуйте как работает
pirogkov
29-08-2009, 19:52
Пишет в лог "FAILED: required CAPTCHA", и завершает работу с этой ссылкой.
Ссылка записывается в файл с ошибками (files.error)
.
тогда можешь выкладывать. что скрипт не сможет выкачать будем вручную качать.
Хотел попробовать скриптик, но как-то не догоняю - как он с рапиды будет качать без ввода капчи ?
на рапиде нет капчи. по крайней мере у меня )))
getikalex,
файлообменник rapidshare.com каптчу не показывает, но требует ожидания при скачивании.
Скрипт скачивает как "Free User", со всеми положенными ожиданиями - получается не быстро, но зато без участия человека.
Этот скрипт не пытается обходить ограничения, он посто помогает автоматизировать ручное тыканье мышкой.
Если IP серый, то по-видимому куча народу работает от имени вашего реального IP, и попасть на разрешение скачивания становится труднее, но всё-таки можно. Кроме того на rapidshare.com вроде бы как бывают часы, когда не требуется и ожидание.
getikalex
30-08-2009, 21:16
Решил попробовать. Поставил.
Одно маленькое замечание: по здешнему мануалу распаковать надо в /tmp/harddisk/home/dlq.
а запускается /home/dlq/dlq.sh.
Т.е подразумевается, что /home уже смонтирован из tmp/harddisk/home/dlq. (что к-стати не указано) А ведь это далеко не у всех. У меня /home стоял не с внешнего винта, а локальный. Посему не мудрствуя лукаво кинул в /opt.
Да и директорию рабочую все- таки прописал вручную как в первой инструкции. Как-то надежней.
А вот со screen-ом решил не заморачиваться, потому что он у меня rtorrent держит. По идее если юзать второй screen - надо прописывать какой именно потом вызывать.
По идее так:
/opt/bin/screen -r -S dlq
но точно не уверен, а экспериментировать не хочется.
поэтому запустил из /usr/local/sbin/post-mount
/tmp/harddisk/opt/dlq/dlq.sh --daemon >/dev/null 2>&1 &
лог-файла вполне хватает
Одно маленькое замечание: по здешнему мануалу распаковать надо в /tmp/harddisk/home/dlq.
а запускается /home/dlq/dlq.sh.
По здешнему мануалу (первый пост) - распаковать надо в какой-нибудь каталог.
Кому куда удобней.
Да, действительно, раньше у меня это был каталог /tmp/harddisk/home/dlq, сейчас скрипт у меня лежит в /home/dlq
(подмонтировал /tmp/harddisk/home к /home - у меня это флэшка, винчестера у меня нет)
Но описание в первом посте менять не стал, поскольку там в архиве программы записан именно первоначальный каталог.
Добавил комментарий (про каталог /home/dlq) в описание версии от 09.08.2009, так наверное будет понятней.
В общем нужно распаковывать в любой удобный каталог на флэшку или HDD, просто при запуске указывать свой путь.
А вот со screen-ом решил не заморачиваться, потому что он у меня rtorrent держит. По идее если юзать второй screen - надо прописывать какой именно потом вызывать.
По идее так:
/opt/bin/screen -r -S dlq
но точно не уверен, а экспериментировать не хочется.
Если при запуске виртуального терминала (screen) указать имя dlq, то потом подключаться к этому виртуальному терминалу нужно так:
screen -r dlq
а если виртуальный терминал только один, то имя можно не указывать:
screen -r
getikalex
02-09-2009, 18:34
Большое спасибо за скриптики. Действительно мне очень помогло. Скачать днем с моего серого ІР - нереально. А с помощью скрипта ставлю с вечера - ночью, когда с моего ІР народу в инете меньше - все качается. К утру все готово.
Вопрос может быть только один: Планируется ли добавление других файлообменников ?
Или разрешения а может и мануала по добавлению таковых (самому ковыряться в чужих скриптах -неприлично).
Вопрос может быть только один: Планируется ли добавление других файлообменников ?
Или разрешения а может и мануала по добавлению таковых (самому ковыряться в чужих скриптах -неприлично).
Новые файлообменники пытаюсь делать по мере возможности (не всегда есть на это время).
Я уже спрашивал - какие файлообменники желательно добавить?
Луше было бы сделать для наиболее популярных, чтобы этим действительно кто-то пользовался.
Сейчас уже практически готовы плагины для
- hotfile.com
- vip-file.com (с паролем и без пароля)
но даже не знаю - будет ли от них польза?
Если кто-то захочет сделать плагин самостоятельно, то конечно же можно сделать - это будет ваш плагин.
Ну а лучший мануал по созданию скриптов-плагинов - это посмотреть как сделан уже готовый плагин.
Если что-то будет непонято, то я постараюсь подсказать.
getikalex
03-09-2009, 18:54
Уверен vip-file добавлять стоит. И так роутер круглые сутки подключен. Пусть качает.
В отношении новых файлообменников - я так понимаю проблема в капче.
К-стати Letitbit качается легко после ввода капчи (он не выпендривается пока, и ждет только 1 мин после чего дает реальную ссылку) обыкновенным wget-ом. я просто прописываю их ссылки в файле и качается запросто.
А как ты смотришь на то, чтобы встроить свои доработки в Download Engine? Пиши в личку - согласуем.
Использую для закачек исключительно Download Engine, был бы очень рад, если бы в него встроили эти доработки.
Megarem, Serg0 , так что, объединение планируется?
К-стати Letitbit качается легко после ввода капчи (он не выпендривается пока, и ждет только 1 мин после чего дает реальную ссылку) обыкновенным wget-ом. я просто прописываю их ссылки в файле и качается запросто.
Да, я тоже так делаю.
На letitbit можно даже и не ожидать пока протикает счётчик после ввода капчи - прямая ссылка уже находится на компе пользователя. Её можно посмотреть в "Просмотр HTML-кода" верхнего фрейма (это там где находится счётчик) или же можно сбросить счётчик, введя в адресную строку браузера:
javascript:topFrame.y=0; undefined
Чтобы было легче, эту строчку можно записать в "Избранное".
Но прямые ссылки с letitbit (бесплатное скачивание) - живут не более 5 минут, поэтому для следующего файла нужно будет снова вручную получать прямую ссылку :(. Хотя letitbit позволяет бесплатно скачивать одновременно несколько файлов - можно запустить несколько wget-ов. Благо что на letitbit большие файлы обычно заливают одним куском.
Использую для закачек исключительно Download Engine, был бы очень рад, если бы в него встроили эти доработки.
Megarem, Serg0, так что, объединение планируется?
Я уже смотрел как бы прикрутить скрипты-плагины файлообменников к Download Engine, но пока не придумал как их можно состыковать. Предполагаю что при стыковке по большей части придётся править Download Engine. Может быть Megarem что-нибудь предложит?
Изменения:
-- Сделан плагин для файлообменника vip-file.com
Чтобы скачивалось с использованием пароля, нужно записать этот пароль в файл dlq.passwords
Пример файла dlq.passwords:
host login password
-----------------------------------
vip-file.com xxxxxx VMJ2191N4LF
Если для vip-file.com пароль не задан, то скрипт будет пытаться скачивать без пароля если есть
ссылка "Или качайте очень медленно и бесплатно". Если этой ссылки нет (т.е. сервер не предложил
скачать бесплатно), то скрипт пытается самостоятельно составить такую ссылку и скачавает файл
как будто эта ссылка есть.
Но в режиме без пароля сервер отдаёт файл очень медленно - у меня получалось примерно ~1 килобайт/сек,
иногда бывает ~10 килобайт/сек.
Убрать пароль из файла dlq.passwords можно либо удалив целиком строчку, либо изменив имя сервера,
например так:
-vip-file.com xxxxxx VMJ2191N4LF
-- Сделан плагин для файлообменника hotfile.com
Но пока я его делал, hotfile.com для некоторых файлов стал показывать картинки(captcha),
поэтому скачиваются только те файлы, для которых картинки не показываются.
-- Сделана возможность перед скачиванием ссылки проверять доступность сервера (ping),
и в случае его недоступности - ожидать доступности XX минут.
Проверка производится перед вычислением прямой ссылки и перед скачиванием файла.
Время ожидания (в минутах) задаётся параметром ACCESS_TIMEOUT в начале скрипта dlq.sh
Если указать 0 минут, то доступность не проверяется и не ожидается:
ACCESS_TIMEOUT=5 # время ожидания[минут] доступности сервера по ссылке (0 - доступность не проверять и не ожидать)
Эта возможность может быть полезна, если при запуске скрипта соединение с Интернетом
ещё не установилось или оно пропадает во время работы скрипта - чтобы в эти моменты
ссылки не отмечались как плохие.
Но могут быть и ложные срабатывания, когда на сервере запрещены ответы на ping. Надо понаблюдать...
Если можно, выскажу свои пожелания...
1) Чтобы скрипт умел выкачивать обычные (прямые) линки. Чтобы закачка была универсальна и не иметь для этой цели отдельные скрипты.
2) У провайдера бывают не тарифицируемые временные промежутки, было бы не плохо указать качать с такого то времени и по такое то... Скажем время начала можно обыграть повесив задание в планировщик, а вот задать время окончания таким образом не получится... Предлагаю перед загрузкой следующего url проверять попадаем ли мы во временной диапазон, если попадаем, то качаем, если нет, то выходим, либо ожидаем наступления следующего диапазона (в зависимости от выбранного режима работы - "демон" или нет).
Если можно, выскажу свои пожелания...
1) Чтобы скрипт умел выкачивать обычные (прямые) линки. Чтобы закачка была универсальна и не иметь для этой цели отдельные скрипты.
2) У провайдера бывают не тарифицируемые временные промежутки, было бы не плохо указать качать с такого то времени и по такое то... Скажем время начала можно обыграть повесив задание в планировщик, а вот задать время окончания таким образом не получится... Предлагаю перед загрузкой следующего url проверять попадаем ли мы во временной диапазон, если попадаем, то качаем, если нет, то выходим, либо ожидаем наступления следующего диапазона (в зависимости от выбранного режима работы - "демон" или нет).
1) Скрипт уже умеет скачивать по обычным (прямым) ссылкам - нужно как обычно записать ссылку в файл очереди.
Для скачивания файла по прямой ссылке скрипты-плагины файлообменников не используются.
(дополнил описание в первом посте - смотрим пример файла-очереди)
2) Да, такое можно сделать. Например так:
Перед началом работы с очередной ссылкой, скрипт смотрит - существует ли файл-флаг /tmp/dlq.pause,
если существует, то ждёт пару минут и снова проверяет наличие файла-флага.
Создавать/удалять файл-флаг можно с помощью планировщика.
Пойдёт такой способ?
Или наоборот лучше разрешающий файл-флаг типа dlq.enabled (для надёжности).
igor77777
05-09-2009, 08:29
Для запуска этой качалки я написал скрипт, который можно положить в /opt/etc/inid.d/
Скрипт S98dlq
#!/bin/sh
NAME="dlq"
DLQ=/opt/etc/dlq/dlq.sh
DAEMON_OPTS=" --daemon"
DLQ_STOP=/opt/etc/dlq/dlq-stop.sh
start() {
echo "Starting $NAME... "
/opt/bin/screen -dmS $NAME $DLQ $DAEMON_OPTS
}
stop() {
echo "Shutting down $NAME... "
#/opt/etc/dlq/dlq-stop.sh
$DLQ_STOP
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
sleep 1
start
;;
*)
echo "Usage: $0 (start|stop|restart)"
exit 1
;;
esac
exit 0
Строчки, выделенные жирным шрифтом, измените в соответствии, с тем, где лежит скрипт у Вас.
Есть предложение к автору.
В скрипте dlq.sh завести ещё одну переменную.
Назовем её: DOWNLOAD_BASE_DIR
По умолчанию, она может равняться BASE_DIR.
И все переменные для закачки (DOWNLOAD_DIR, QUEUE_FILE, ...) можно назначить относительно DOWNLOAD_BASE_DIR.
Это позволит, исправив только DOWNLOAD_BASE_DIR, развести сам скрипт и закачиваемые данные по разным каталогам, и даже устройствам (флешка и usb-винт).
Например как у меня. Скрипт лежит на флешке, в /opt/etc/dlq
А закачка ведется в винт, примонтированный в /home
Да, наверное управление приостановкой скачивания с помощью файла-флага dlq.pause делать не стОит.
Ведь вполне можно в нужное время остановить скрипт (и скачивание файла) из планировщика с помощью dlq-stop.sh
А скачиваемые файлы бывают и такие, что одна ссылка может отрабатываться очень долго, у меня было что и сутки качалось.
В этом случае файл-флаг не поможет.
dlq-stop.sh надёжнее.
Правда при принудительной остановке могут возникнуть некоторые проблемы с докачкой прерванного файла - ведь некоторые файлообменники не разрешают докачивание. Надо бы доработать скрипт, чтобы он знал с каких файлообменников можно докачивать, а с каких нет.
Может быть Megarem что-нибудь предложит?
Неохота конечно этим заниматься, ну да ладно, посмотрю на недельке что можно придумать.
Да, наверное управление приостановкой скачивания с помощью файла-флага dlq.pause делать не стОит.
Ведь вполне можно в нужное время остановить скрипт (и скачивание файла) из планировщика с помощью dlq-stop.sh
Думаю устроил бы вариант передачи параметра в dlq-stop.sh, например --wait (или что то в этом роде), по которому завершение работы было бы не мгновенно, а после закачки текущего файла. А там каждый будет в зависимости от ситуации вызывать с параметром или без.
Есть предложение к автору.
В скрипте dlq.sh завести ещё одну переменную.
Назовем её: DOWNLOAD_BASE_DIR
По умолчанию, она может равняться BASE_DIR.
И все переменные для закачки (DOWNLOAD_DIR, QUEUE_FILE, ...) можно назначить относительно DOWNLOAD_BASE_DIR.
Это позволит, исправив только DOWNLOAD_BASE_DIR, развести сам скрипт и закачиваемые данные по разным каталогам, и даже устройствам (флешка и usb-винт).
Например как у меня. Скрипт лежит на флешке, в /opt/etc/dlq
А закачка ведется в винт, примонтированный в /home
Поддерживаю предложение.
PS Думаю скрипт S98dlq, предложенный igor77777, можно прикрепить к первому посту.
Использую для закачек исключительно Download Engine, был бы очень рад, если бы в него встроили эти доработки.
Megarem, Serg0 , так что, объединение планируется?
Началось некоторое продвижение:
Download Engine (http://wl500g.info/showthread.php?t=9947) --> файлообменники (rapidshare.com, depositfiles.com,...)
Если скрипт будет висеть как демон, насколько он кушает и без того скромные ресурсы (память, процессорное время и т.д)?
Если закачки будут не ежедневные, то стоит ли вешать как демона или запускать по мере надобности?
Есть предложение к автору.
В скрипте dlq.sh завести ещё одну переменную.
Назовем её: DOWNLOAD_BASE_DIR
По умолчанию, она может равняться BASE_DIR.
И все переменные для закачки (DOWNLOAD_DIR, QUEUE_FILE, ...) можно назначить относительно DOWNLOAD_BASE_DIR.
Это позволит, исправив только DOWNLOAD_BASE_DIR, развести сам скрипт и закачиваемые данные по разным каталогам, и даже устройствам (флешка и usb-винт).
Например как у меня. Скрипт лежит на флешке, в /opt/etc/dlq
А закачка ведется в винт, примонтированный в /home
Да, лучше конечно раскладывать по разным каталогам:
- неизменяемые файлы: скрипты
- изменяемые файлы: файл-очередь, лог, ошибки, пароли
- скачанные файлы
В следующей версии сделаю ещё один параметр.
Просто у меня винчестера нет, и всё лежит на внешней флэшке. Поэтому у меня все настройки и указывают в одно место.
Если скрипт будет висеть как демон, насколько он кушает и без того скромные ресурсы (память, процессорное время и т.д)?
Если закачки будут не ежедневные, то стоит ли вешать как демона или запускать по мере надобности?
Конечно же, в целях экономии ресурсов, лучше запускать скрипт по мере необходимости. Это опять же, было бы удобнее делать через web-интерфейс.
Хотя если роутер не загружен, то можно запускать и в режиме демона. Я посмотрел - у меня в режиме ожидания скрипт вместе со sleep занимает ~850КБ памяти. Процессорное время он практически не занимает.
Я сам запускаю скрипт в одноразовом режиме только когда это нужно - наверное потому что редко скачиваю.
Попробую сделать возможность мягкой остановки - остановка после завершения скачивания текущего файла.
Сделал небольшой cgi-скрипт, который позволяет посмотреть экран screen-сеанса через web-страницу:
Посмотреть экран screen-сеанса через web-страницу (http://wl500g.info/showthread.php?t=21107)
Есть версия с возможностью передачи нажатий клавиш в screen-сеанс.
Может быть кому-нибудь пригодится в применении к местному dlq-скрипту.
Здается мне, дело идет к WEB морде контроля скрипта для рапиды и депозита:
http://wl500g.info/showthread.php?t=19035
удачи !
Какие-то мысли есть, но web-интерфейс надо бы делать без привязки к запуску через screen.
Сейчас предпринимаются попытки прикрутить к Download Engine (http://wl500g.info/showthread.php?t=9947) местные скрипты-плагины для работы с файлообменниками. Думаю что получится.
Тогда может быть и необходимсть в web-интерфейсе скрипта dlq отпадёт...
Сделали первую версию объединенных скриптов. Прошу тестировать:
http://wl500g.info/showpost.php?p=159885&postcount=163
getikalex
18-09-2009, 22:45
Что-то не получается у меня с vip-file. даю в files.queue ссылку:
http://vip-file.com/download/3818.cf351979ea975af2ae2255be3/Files_Dewnload.rar.html
скрипт ее отрабатывает. в логе - все ок.
2009-09-19 00:24:23 http://vip-file.com/download/3818.cf351979ea975af2ae2255be3/Files_Dewnload.rar.html
2009-09-19 00:24:23 downloading...
2009-09-19 00:24:24 -=OK=-
а в папке закачаных - html страничка Files_Dewnload.rar.html ....
где косяк ?
ЗЫ пароли отключил
dlq.passwords
host login password
-----------------------------------
-vip-file.com xxxxxx VMJ2191N4LF
getikalex,
В вашем логе что-то не видно следов работы плагина vip-file, похоже что у вас старая версия скрипта.
Поддержка vip-file появилась в версии от [04.09.2009].
Вот мой лог с этой же ссылкой:
2009-09-19 17:05:39 ================================================== ==============================
2009-09-19 17:05:39 http://vip-file.com/download/3818.cf351979ea975af2ae2255be3/Files_Dewnload.rar.html
2009-09-19 17:05:39 get url from [vip_file_com]...
2009-09-19 17:05:40 -- Step.1:
2009-09-19 17:05:42 mode - without password
2009-09-19 17:05:42 free link not found, try self-construct free link
2009-09-19 17:05:42 get url from [vip_file_com] - OK
2009-09-19 17:05:42 url=http://vip-file.com/download3/aHR0cDovL3IyMDUudmlwLWZpbGUuY29tL2Rvd25sb2FkMTAvY2 YzNTE5NzllYTk3NWFmMmFlMjI1NWJlM190bTFwN2h6ZHZod2o1 ZHAyL0ZpbGVzX0Rld25sb2FkLnJhcnwxMTM0MzczfDM4MTguY2 YzNTE5NzllYTk3NWFmMmFlMjI1NWJlM3xGaWxlc19EZXdubG9h ZC5yYXJ8bGV0aXRiaXQubmV0fA==/cf351979ea975af2ae2255be3/Files_Dewnload.rar
2009-09-19 17:05:44 downloading...
серые строчки - это работа плагина vip-file
2 All:
вот более свежая версия плагина vip-file:
getikalex
19-09-2009, 14:50
Все оказалось намного проще. Тормознул. Скрипт-то я переписал, а вот роутер не перезагрузил. После перезагрузки - пошло.
PS Хотелось бы высказать еще одну хотелку.
Скрипт качает ссылки по одной из файла. Но в то же время, пока качается первая ссылка с рапиды - вторая ждет. Но в то же время можно качать третью ссылку с депозита. и например пятую с vip-file и т.д.
Может стоит как-то дополнить возможность подхвата второй скачки с другого и третьей с третьего файлообменника. Они по идее друг дружке не мешают.
getikalex
22-09-2009, 19:07
Опять что-то непонятное.
Дал список на рапиде:
http://rapidshare.com/files/281340882/WPI___DP_by_alex_333313.part01.rar
http://rapidshare.com/files/281363366/WPI___DP_by_alex_333313.part02.rar
http://rapidshare.com/files/281497694/WPI___DP_by_alex_333313.part03.rar
http://rapidshare.com/files/281513806/WPI___DP_by_alex_333313.part04.rar
http://rapidshare.com/files/281529030/WPI___DP_by_alex_333313.part05.rar
http://rapidshare.com/files/281543451/WPI___DP_by_alex_333313.part06.rar
http://rapidshare.com/files/281559657/WPI___DP_by_alex_333313.part07.rar
http://rapidshare.com/files/281575083/WPI___DP_by_alex_333313.part08.rar
http://rapidshare.com/files/281588813/WPI___DP_by_alex_333313.part09.rar
http://rapidshare.com/files/281603276/WPI___DP_by_alex_333313.part10.rar
http://rapidshare.com/files/281617081/WPI___DP_by_alex_333313.part11.rar
http://rapidshare.com/files/281631150/WPI___DP_by_alex_333313.part12.rar
http://rapidshare.com/files/281645514/WPI___DP_by_alex_333313.part13.rar
http://rapidshare.com/files/281662795/WPI___DP_by_alex_333313.part14.rar
http://rapidshare.com/files/281685173/WPI___DP_by_alex_333313.part15.rar
http://rapidshare.com/files/281703315/WPI___DP_by_alex_333313.part16.rar
http://rapidshare.com/files/281720095/WPI___DP_by_alex_333313.part17.rar
http://rapidshare.com/files/281737914/WPI___DP_by_alex_333313.part18.rar
http://rapidshare.com/files/281756397/WPI___DP_by_alex_333313.part19.rar
http://rapidshare.com/files/281775122/WPI___DP_by_alex_333313.part20.rar
http://rapidshare.com/files/281794110/WPI___DP_by_alex_333313.part21.rar
http://rapidshare.com/files/281814004/WPI___DP_by_alex_333313.part22.rar
http://rapidshare.com/files/281820499/WPI___DP_by_alex_333313.part23.rar
лог работы прикреплен
в результате закачало части 7-11 и 13-15.
Остальные почемуто закачало под именем файла, но не реальное содержимое, а html станички....
по логу видно, что он их реально не качал. (каждый кусок - 209 Mb, а он по логу их качает менее минуты, и только 7-11 и 13-15 реально качаются по времени закачки в логе более получаса.)
Где может быть косяк ?
ЗЫ У меня такое впечатление, что пока прога получала ссылку - кто-то из моей сети ( с моим внешним ІР) успевает поставить что-то свое на закачку. в результате ссылка дает такое: (Второе вложение к-примеру первый кусок) его как архив естественно просмотреть нельзя, но если просмотреть простым просмотрщиком - видно, что это html страница)
Как с этим бороться ?
getikalex,
Да, видимо сосед успевает раньше начать скачивание файла.
А скачанный rar-файл - это html-страница, в которой написано, что наш ip-адрес уже что-то скачивает:
> Your IP address 195.16.77.41 is already downloading a file. Please wait until the download is completed.
Rapidshare для больших файлов требует бОльшую задержку, чем для маленьких:
4.5 MB --> 47 sec
210 MB --> 149 sec
поэтому на серых ip-адресах, сосед со своим маленьким файлом успевает раньше начать скачивание,
и у нас скачивается уже не запрошенный файл, а html-страничка с предупреждением.
Опередить соседа мы не можем, поэтому нам остаётся только как-то распознать что мы не успели
и ждать пока сосед докачает.
Надо подумать каким способом это можно распознать...
sauron093
24-09-2009, 08:03
Надо подумать каким способом это можно распознать...
ну видимо после закачки нужно проверять размер скаченного файла если меньше определенного размера то искать в нем эту "волшебную" фразу или теги хтмл. если найдено то соответственно на повтор с большей задержкой ставить
-- Сделан плагин для файлообменника letitbit.net
Плагин умеет распознавать каптчу. Для работы плагина, нужно установить пакет libjpeg
-- Сделана возможность мягкой остановки скрипта - остановка после завершения скачивания текущего файла.
Для мягкой остановки нужно:
- либо запустить скрипт dlq-stop.sh с параметром --soft :
./dlq-stop.sh --soft
- либо самостоятельно создать файл-флаг /tmp/dlq.stop, например так:
touch /tmp/dlq.stop
-- Сделана возможность проверки скачанного файла: а не скачалась ли вместо нужного файла web-страничка с каким-нибудь предупреждением файлообменника?
Это может быть полезно тем, у кого серый ip-адрес: когда сосед успевает раньше начать скачивание с этого же файлообменника, и нам уже вместо нужного файла приходит web-страничка с предупреждением что наш ip уже что-то скачивает.
Раньше в этом случае ссылка записывалась как отработанная, но фактически нужный файл не был скачан.
Теперь есть возможность проверять скачанный файл, и при обнаружении web-странички, файл будет пытаться скачиваться снова.
Эта возможность настраивается с помощью параметра:
CHECKHTML_SIZE=50 # макс.размер[KB] скачанного файла для проверки =html? (закомментировать чтобы не проверять)
Ну и можно выставить: файлы до какого размера [в килобайтах] нужно проверять. Файлы бОльшего размера не проверяются.
Чтобы отключить эту проверку, нужно закомментировать параметр CHECKHTML_SIZE.
По умолчанию эта проверка отключена.
Пример такой ситуации есть здесь (http://wl500g.info/showthread.php?p=161167#post161167]).
-- Добавлен параметр конфигурации:
VARFILES_DIR=$BASE_DIR # каталог для изменяемых файлов
В этом каталоге лежат изменяемые файлы скрипта: files.queue, files.done, files.error, dlq.passwords, dlq.failed_html
По умолчанию этот каталог равен базовому каталогу (каталог программы), но его можно изменить, в этом случае нужно будет переместить изменяемые файлы в выбранный каталог.
Кроме того можно изменить и параметр DOWNLOAD_DIR, чтобы скачанные файлы складывались в нужный каталог, например в каталог на жестком диске.
Итого может быть три каталога:
- BASE_DIR - неизменяемые файлы: скрипты
- VARFILES_DIR - изменяемые файлы: файл-очередь, ошибки, лог, пароли
- DOWNLOAD_DIR - скачанные файлы
все каталоги указыватся без слэша в конце
Serg0, большое спасибо за труды, скрипт отличный!
Но проверку на скачивание Web-страницы можно сделать немного по другому т.к. в шапке каждой страницы есть что-нибудь вроде этого:
<!DOCTYPE html ...>, <html> ... </html>, <head> ... </head>, <body> ... </body> и т.д.
Можно просканировать файл на наличие "<!DOCTYPE html" или "<html>" в начале файла и на "</html>" в конце.
Так на мой взгляд будет правильнее, но конечно реализовать это сложнее.
getikalex
28-09-2009, 19:57
Попробовал... Качает !
RESPECT !!! :cool:
Отличная работа, и по функциональности даст фору другим качалкам со всякими графическими прибамбасами.
getikalex
29-09-2009, 18:39
Все отлично работает, но нет предела совершенству.
Попробую еще раз высказать хотелку. ИМХО это из разряда возможного.
PS Скрипт качает ссылки по одной из файла. Но пока качается первая ссылка с рапиды - вторая ждет. В то же время можно качать третью ссылку с депозита. и например пятую с vip-file и т.д.
Может стоит как-то дополнить возможность подхвата второй скачки с другого и третьей с третьего файлообменника. Они по идее друг дружке не мешают.
pirogkov
29-09-2009, 20:58
Попробую еще раз высказать хотелку. ИМХО это из разряда возможного.
дык ты размешай ссылки с разных файлообменников поочереди. примерно тоже самое получится.
getikalex
29-09-2009, 21:22
По очереди это понятно. Вопрос ставился об одновременном скачивании с разных обменников. Понятно, что пока качается с рапиды - вторая закачка с рапиды бесплатно невозможна. Но в то же время вполне реально запустить параллельную закачку с депозита, или др. обменника. Несколько процессов wget с разных обменников не мешают один другому.
kostik_bk
02-10-2009, 18:47
добрый день!
прошу помощи. скрипт установил, первую закачку из списка с rapidshare.com он закачивает полностью, но потом падает со следующей ошибкой:
2009-10-02 12:58:42 (71.2 KB/s) - `/usr/tmp/mnt/disc1_1/downloads/inPs093.part05.rar' saved [104000000/104000000]
[: invalid integer `'
/opt/dlq/dlq.sh: /opt/dlq/dlq.sh: 96: Syntax error: *1024
из списка files.queue строка не удаляется. в чем может быть загвоздка?
getikalex
02-10-2009, 19:29
А че за ссылка такая ? может ты что-то намутил в files.queue... и он выносит скрипт с ошибкой синтаксиса.
покажи что ты давал на скачку - можно попробовать.
В самом скрипте по идее ошибок быть не может.
ЗЫ А чего такой адрес каталога закачки /usr/tmp/mnt/disc1_1/downloads/
скрипт в /opt/dlq/, а где папка varfiles ?
Ты специально так все прописал ? Не напутал с адресами папок ?
ИМХО сначала надо было стандартный вариант, а потом экспериментировать с каталогами.
kostik_bk,
Параметр CHECKHTML_SIZE закоментирован или нет?
Если нет, то чему он равен?
kostik_bk
02-10-2009, 19:44
может намутил, хотя вроде лишнего ничего нет
вот кусок из files.queue
http://rapidshare.com/files/273708322/inPs093.part07.rar
http://rapidshare.com/files/273708439/inPs093.part08.rar
varfiles в /usr/tmp/mnt/disc1_1/dlqvar
с путями вроде все ок, так как что качать находит, куда качать тоже..
это я закачку на винт завернул, в то у меня на флешке где opt места мало.
kostik_bk
02-10-2009, 19:54
Serg0
закомментирован. с ним я еще не пытался играться:)
может это быть из-за того, что закачки я добавлял из под windows (диск примаплен у меня), хотя в nano никаких левых символов в списке файлов не видно..
kostik_bk,
Скрипт нормально воспринимает файл очереди и в формате windows тоже. Проблема не из-за этого.
Скорей всего у тебя немного отличается программа test от моей.
В скрипте довольно скользко проверяется наличие параметра CHECKHTML_SIZE, надо наверное переделать на более уверенную проверку. А пока можно попробовать раскоментировать параметр CHECKHTML_SIZE и задать его равным нулю:
CHECKHTML_SIZE=0 # макс.размер[KB] скачанного файла для проверки =html? (закомментировать чтобы не проверять)
Должно помочь.
kostik_bk
02-10-2009, 20:48
Serg0
Спасибо! это помогло!
Спасибо за скрипт. Работает хорошо.
Но у меня серый ip. и иногда возникает почему то такая ошибка
The download session has expired. Please click here to start the download again.
почему не знаю, но скрипт уверяет что файл скачан и переносит в done хотя там всего 5 кб.
На второй или третий раз этот файл скачивает нормально.
Что можно сделать, а то очень тяжело фильтровать и переносить обратно.
И второй вопрос.
Я не могу разобраться с правами доступа. у меня сетевой винт, подключен по nfs.
так вот после того как скрипт скачивает файл туда, удалить этот файл можно только с роутера. через шару на винте сделать не могу. с программами типа трансмишн все нормально.
что надо сделать чтобы файлы создавались с большим доступом?
Спасибо.
Almair,
Что-то я не совсем понял в каком месте возникает такая ошибка.
Если остался лог-файл, то хорошо было бы его посмотреть.
По второму вопросу:
Может быть надо для каталога downloads на nfs дать права всем пользователям на запись?
Из лога вырезка.
2009-10-04 11:04:03 -- Step.1:
2009-10-04 11:04:05 url2=http://rs357.rapidshare.com/files/124887021/Evgeniy_Onegin__CD2_.part7.rar
2009-10-04 11:04:07 -- Step.2:
2009-10-04 11:04:13 waiting 12 min : reached the download limit, try again in about 12 minutes
2009-10-04 11:16:14 -- Step.1:
2009-10-04 11:16:19 url2=http://rs357.rapidshare.com/files/124887021/Evgeniy_Onegin__CD2_.part7.rar
2009-10-04 11:16:19 -- Step.2:
2009-10-04 11:16:26 waiting 85 sec : Still 85 seconds
2009-10-04 11:17:51 get direct url from [rapidshare.com] - OK
2009-10-04 11:17:51 url=http://rs357tl.rapidshare.com/files/124887021/7540829/Evgeniy_Onegin__CD2_.part7.rar
2009-10-04 11:17:52 downloading...
2009-10-04 11:17:59 -=OK=-
2009-10-04 11:18:00 ================================================== ==============================
2009-10-04 11:18:00 http://rapidshare.com/files/123795788/Evgeniy_Onegin__CD2_.part8.rar
2009-10-04 11:18:00 get direct url from [rapidshare.com]...
2009-10-04 11:18:00 -- Step.1:
2009-10-04 11:18:03 url2=http://rs236.rapidshare.com/files/123795788/Evgeniy_Onegin__CD2_.part8.rar
2009-10-04 11:18:03 -- Step.2:
2009-10-04 11:18:10 waiting 5 min : Your IP address is already downloading a file
А в файле html страничка с фразой, описанной в предыдущем посте.
по второму вопросу, права для всех полный доступ к каталогу. кстати если у меня на винте лежит сам скрипт то команда для загрузки chmod +x не работает, говорит нет доступа. В любом месте. поэтому скрипт щас на флешке лежит.
Almair,
Что-то ни разу не встречал такого сообщения на рапиде (что наверное хорошо для меня :) ).
Поискал в Инете полный текст этого сообщения, нашёл:
The download session has expired. Please click here to start the download again.
Possible reasons:
* The download takes to long to be saved.
* For this download, in the background your Internet Service Provider has assigned a new IP address. If you are for example an AOL customer, or use a similar Service Provider, please try to use a different browser.
If this problem persists to exist, you may want to purchase a Premium Account. As Premium users are not checked against their IP address, this problem will not occur. Or your internet connection is too slow to download the complete file within the session time.
Похоже что ваш интернет-провайдер в фоне меняет ваш внешний ip-адрес. В данном случае по-видимому поменялся внешний ip во время ожидания 85 секунд.
Если такая ошибка возникает иногда, то я думаю должно помочь включение параметра CHECKHTML_SIZE (описание здесь (http://wl500g.info/showpost.php?p=161882&postcount=72)), в этом случае при получении такой ошибки, скрипт будет пытаться скачивать файл снова.
Almair > по второму вопросу, права для всех полный доступ к каталогу.
Ну, если настроен полный доступ всех пользователей к каталогу, типа такого:
4 drwxrwxrwx 3 admin root 4096 Sep 28 22:42 downloads
то тогда любой пользователь должен иметь возможность удалять в нём файлы. Почему не удаляет - не знаю.
Может быть посмотреть какие права доступа у каталога для трансмишн?
Almair > кстати если у меня на винте лежит сам скрипт то команда для загрузки chmod +x не работает, говорит нет доступа.
Наверное скрипт на винт заливал через шару с компа, а команду chmod делал с роутера?
По первому вопросу прилагаю файл с хтмл.
странно если ip меняет, не замечал. Во всяком случае с другими обменниками, и самое забавное именно с этими файлами все время и поторяется одно и тоже.
CHECKHTML_SIZE включен, ибо у меня серый ip, и очень часто кто то начинает качать раньше меня (сети более 5000 человек на одном ip)
По второму вопросу к каталогу полный доступ, а к скаченным файлам только на чтение, странно как то, в выходные приглашу брата, пусть посмотрит. Каталог для закачки файлов трансмишена и скрипта один :)
Almair,
Я так понял, что параметр CHECKHTML_SIZE включен и всё равно иногда вместо нужного файла скачивается web-страничка с ошибкой ?
Almair,
Я так понял, что параметр CHECKHTML_SIZE включен и всё равно иногда вместо нужного файла скачивается web-страничка с ошибкой ?
Да, Вы меня правильно поняли.
Almair,
Попробовал у себя искуственно создать условия для появления такой же ошибки:
- один раз сделал задержку в 30 минут перед скачиванием файла
- второй раз во время ожидания 85 секунд сменил у себя ip-адрес
В обоих случаях скрипт нормально обнаружил что скачанный файл - это web-страничка.
Не знаю почему может происходить сбой.
Если есть желание, то можно попробовать разобраться в чём проблема.
Автору респект! Скрипт крайне нужный и полезный.
А как насчет того, чтобы разместить проект на каком-нибудь хостинге кода — GitHub или Google Code?
И еще пожелание по поводу интерфейса: хотелось бы, чтобы интерфейс был более похожим на привычный wget: чтобы для скачивания одного файла не приходилось его url помещать в очередь, а потом запускать скрипт. Удобнее было, чтобы можно было указать в виде параметра скрипта, а файл очереди указывать в качестве другого параметра.
Вместо CHECKHTML_SIZE с проверкой размера предлагаю проверять Content-Type отдаваемого содержимого и статус ответа сервера. Опыт показывает, что такое работает в 100% случаев.
Вместо CHECKHTML_SIZE с проверкой размера предлагаю проверять Content-Type отдаваемого содержимого и статус ответа сервера. Опыт показывает, что такое работает в 100% случаев.
Сейчас именно по Content-Type и проверяется. Кроме этого есть ещё и дополнительные условия для проверки:
- при скачивании использовался плагин
- проверяются небольшие файлы
- расширение файла не .htm .html
Но что-то где-то иногда не срабатывает - может быть ошибка в срипте, а может быть и файл приходит с другим Content-Type.
И еще пожелание по поводу интерфейса: хотелось бы, чтобы интерфейс был более похожим на привычный wget: чтобы для скачивания одного файла не приходилось его url помещать в очередь, а потом запускать скрипт. Удобнее было, чтобы можно было указать в виде параметра скрипта, а файл очереди указывать в качестве другого параметра.
Можно попробовать сделать. Только зачем тогда ещё указывать файл очереди? ведь как я понял в этом режиме нужно будет скачать только один файл, указанный в качестве параметра.
Только зачем тогда ещё указывать файл очереди? ведь как я понял в этом режиме нужно будет скачать только один файл, указанный в качестве параметра.
Ну это я неправильно выразился. Я имел ввиду приблизительно такой интерфейс:
./dlq.sh http://rapidshare.com/files/92432930/BCG-08.part1.rar.html # скачивает файл по конкретному URL
./dlq.sh -i files.queue # скачивает все файлы из очереди
Таким образом, разделив сам скрипт скачивания и его настройки мы придем к такому решению, когда при обновлении версии скрипта не придется руками сливать свои изменения (конфигурацию, фактически) и изменения в новой версии. Каждый пользователь сможет отдельно, с помощью дополнительных скриптов, описывать свои задачи (постоянно висящий демон, скачивание файлов из очереди, скачивание одного файла и т.д.)
chemtech
07-10-2009, 16:01
http://www.linux.org.ru/view-message.jsp?msgid=4113699
Основные изменения:
* Стало возможно управлять размером шрифтов
* Теперь поддерживается CAPTCHA от 66 файлообмеников
* Обновлены плагины и переводы.
* Исправлена ошибка в модуле, отвечающем за авторизацию Premium-аккунта.
JDownloader — это ПО для скачивания с файлообменных серверов, таких, как RapidShare. Поддерживается множество файлообмеников, включая авторизацию по Premium/Gold-аккаунту.
Цитата:
"но больше всего раздражают тормоза. пока эта фигня поперерисовывает все списки.... USDownloader поддерживает меньше обменников. для рапидшары лучше всего юзать slimrat - умеет DepositFiles, Megaupload, Rapidshare, YouTube + кучку мне менее известных. slimrat умеет консоль и с помощью screen лехко становится демоном ;) http://code.google.com/p/slimrat/"
slimrat запускается на этом роутере?
Serg0, а megaupload не планируется?
konst1, не получится - файлообменник megaupload.com показывает капчу
getikalex
25-10-2009, 14:34
Что-то не могу закачать с рапиды файлик:
http://rapidshare.de/files/48559363/WL500gpv2-1.9.2.7-d-r706M-09d.trx.zip
после скачиваня - пишет в логе все ОК, но реально качает только html страничку на 6 Kb. Т.е проверка на 50 Kb не срабатывает.
Версия последняя. Где подправить ?
getikalex,
для файлообменника rapidshare.de, в этом скрипте плагина нет (есть плагин для rapidshare.com),
поэтому и скачивается обычная web-страничка.
rapidshare.de требует ввода капчи.
getikalex
26-10-2009, 18:02
Каюсь, грешен, недосмотрел
mr-butch
26-10-2009, 18:57
Давно не обновлял свой програмки на роутере. А тут провел ipkg upgrade (обновился в том числе и wget).
После этого, или так совпало, большинство закачек с rapidshare не хотят качаться :-(
Что случилось?
Давно не обновлял свой програмки на роутере. А тут провел ipkg upgrade (обновился в том числе и wget).
После этого, или так совпало, большинство закачек с rapidshare не хотят качаться :-(
Что случилось?
Тоже самое. При потытке скачать браузером рапида выдает:
"Currently a lot of users are downloading files. Please try again in 2 minutes or become a Premium member
Please note, the server is not going to check again within the next 2 minutes if downloading is possible again. To provide a fair platform, all user get the same options. Your last attempt was 107 seconds ago."
Тоже заметил, что много закачек стало уходить в файл с ошибками.
Похоже, действительно рапида ввела новую страничку, которую плагин не умеет обрабатывать.
letitbit тоже что-то химичит со страницами, сначала ввели отдельную страницу для ввода капчи, потом вернули все обратно, теперь опять что-то изменили (вроде как добавили пару строк в код страницы) и плагин для letitbit не работает.
Я немного изменил плагин чтобы посмотреть почему не работает и выходит что все параметры кроме url_captcha пустые
2009-10-30 17:42:01 ================================================== ==============================
2009-10-30 17:42:01 http://letitbit.net/download/5185.58347350e96bfe82986f2bd66d/Zvezdnij.put.2009.D.HDRip.ELEKTRI4KA_Epidem.ru.avi .html
2009-10-30 17:42:01 get direct url from [letitbit.net]...
2009-10-30 17:42:03 -- Step.1:
2009-10-30 17:42:06 FAILED: uid/md5crypt/url_captcha/uid2/uid5/uid/name/pin/realuid/realname/host/ssserver/sssize - not found
2009-10-30 17:42:06 UID=, md5crypt=, url_captcha=http://letitbit.net/cap.php?jpg=5185.58347350e96bfe82986f2bd66d.jpg, uid2=, uid5=, uid=, name=, pin=, realuid=, realname=, host=, ssserver=, ssize=
2009-10-30 17:42:06 FAILED: plugin[letitbit.net] - ERROR
Serg0 подправь, пожалуйста, скрипт, а то я никак в 'sed' разобраться не могу, а пользуюсь для закачки только letitbit, т.к раньше он работал просто отлично, без единого сбоя, да и докачка поддерживается, большое тебе спасибо за этот скрипт.
Сделал новые версии плагинов для файлообменников letitbit.net, rapidshare.com, vip-file.com
letitbit.net:
поскольку сервер иногда не хочет отдавать файлы сразу (без ожидания 60 секунд) - говорит "404 Not Found",
то сделал стандартную задержку 60 секунд перед скачиванием файла, которую обычно просит сервер
Serg0, большое вам человеческое спасибо!
mr-butch
03-11-2009, 16:23
У всех так, или только у меня в логе говорит:
http://rapidshare.com/files/301339218/xxxxxxx.rar
get url from [rapidshare_com]...
get url from [rapidshare_com] - OK
url=http://rapidshare.com/files/301339218/xxxxxxx.rar
downloading...
-=OK=-
или
http://rapidshare.com/files/301342583/xxxxxxx.rar
get url from [rapidshare_com]...
/tmp/harddisk/rapid/dlq.sh: line 155: rapidshare_com: not found
get url from [rapidshare_com] - OK
url=http://rapidshare.com/files/301342583/xxxxxxx.rar
downloading...
http://rapidshare.com/files/301342583/xxxxxxx.rar
Resolving rapidshare.com... 195.122.131.5, 195.122.131.6, 195.122.131.7, ...
Connecting to rapidshare.com|195.122.131.5|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 30897 (30K) [text/html]
и качается сама страничка. Стало только хуже, или я чего еще забыл обновить из файлов скрипта, сам dlq.sh не обновился?
mr-butch,
Новая версия скрипта была 27.09.2009 (http://wl500g.info/showthread.php?p=161882), там и был обновлён файл dlq.sh
getikalex
05-11-2009, 22:38
Поменял на новую версию...не пошел Letitbit. Это у меня косяк, или опять что-то супостаты поменяли ?
ссылка рабочая
http://letitbit.net/download/7946.ed7dcbbf1306ede1d140c08d3/SHunter22050pro.rar.html
лог
2009-11-05 23:59:42 ================================================== ==============================
2009-11-05 23:59:42 http://letitbit.net/download/7946.ed7dcbbf1306ede1d140c08d3/SHunter22050pro.rar.html
2009-11-05 23:59:42 get direct url from [letitbit.net]...
2009-11-05 23:59:42 -- Step.1:
2009-11-05 23:59:47 FAILED: uid/md5crypt/url_captcha/uid2/uid5/uid/name/pin/realuid/realname/host/ssserver/sssize - not found
2009-11-05 23:59:47 FAILED: plugin[letitbit.net] - ERROR
а вот с rapidshare отработало нормально
2009-11-06 00:18:00 ================================================== ==============================
2009-11-06 00:18:00 http://rapidshare.com/files/302662815/K-Lite_Codec_Pack_540_Corporate.exe
2009-11-06 00:18:00 get direct url from [rapidshare.com]...
2009-11-06 00:18:00 -- Step.1:
2009-11-06 00:18:03 url2=http://rs792.rapidshare.com/files/302662815/K-Lite_Codec_Pack_540_Corporate.exe
2009-11-06 00:18:03 -- Step.2:
2009-11-06 00:18:09 waiting 51 sec : Still 51 seconds
2009-11-06 00:19:00 get direct url from [rapidshare.com] - OK
2009-11-06 00:19:00 url=http://rs792tl2.rapidshare.com/files/302662815/6209022/K-Lite_Codec_Pack_540_Corporate.exe
2009-11-06 00:19:00 downloading...
2009-11-06 00:38:30 -=OK=-
На сервере Letitbit для ввода капчи теперь открывается отдельная страница.
Такое уже было:
letitbit тоже что-то химичит со страницами, сначала ввели отдельную страницу для ввода капчи, потом вернули все обратно, теперь опять что-то изменили (вроде как добавили пару строк в код страницы)
Надо подправить плагин.
новая версия плагина для файлообменника letitbit.net
sibgle2009
10-11-2009, 19:43
новая версия плагина для файлообменника letitbit.net
Отлично! Теперь работает
getikalex
10-11-2009, 20:55
Спасибо. Отличный и очень удобный скрипт.
Одна беда - файлообменники время от времени всегда гадости подсовывают.
Одна надежда - на поддержку Serg0.
После обновления скрипта во время работы появляются строки:
[: invalid integer `'
В конце появляется:
sed: can't read /tmp/dlq.temp.wget.log: No such file or directory
./dlq.sh: ./dlq.sh: 59: Syntax error: *1024
Из файла files.queue задание не удаляется. Что не так?
chilka, вот здесь (http://wl500g.info/showthread.php?p=162697#post162697) была подобная проблема.
Спасибо автору за проделанную работу.
Немного подкорректировал скрипт, чтобы исключить ошибки
[: invalid integer `'
sed: can't read /tmp/dlq.temp.wget.log: No such file or directory
./dlq.sh: ./dlq.sh: 59: Syntax error: *1024
Которые у меня также возникали
Также добавл немного функциональности в скрипт rapidshare.com
В файле preffered.servers можно указать в порядке уменьшения приоритета сервера для скачивания по одному на строку.
Они будут использованы вместо предлагаемого автоматически рапидой.
Доступны следующие варианты:
TeliaSonera
TeliaSonera #2
TeliaSonera #3
TeliaSonera #4
Level(3)
Level(3) #2
Level(3) #3
Level(3) #4
Cogent
Cogent #2
GlobalCrossing
GlobalCrossing #2
Deutsche Telecom
или ИМЯ СЕРВЕРА #* - будет использоваться первый найденный сервер с заданным именем
Что-то у меня с letitbit.net не заработало (с последним скриптом):
2009-11-14 12:56:30 ================================================== ==============================
2009-11-14 12:56:30 http://letitbit.net/download/0317.0572888b16cf61c3fa944c7ead/Kakraki.2009.O.DVDRip.avi.html
2009-11-14 12:56:30 get direct url from [letitbit.net]...
[: invalid integer `'
2009-11-14 12:56:31 -- Step.1:
/opt/dlq/dlq.sh: /opt/dlq/letitbit.net.captcha.sh: 54: djpeg: not found
2009-11-14 12:56:34 captcha: djpeg.ERROR
/opt/dlq/dlq.sh: /opt/dlq/letitbit.net.captcha.sh: 54: djpeg: not found
2009-11-14 12:56:34 captcha: djpeg.ERROR
/opt/dlq/dlq.sh: /opt/dlq/letitbit.net.captcha.sh: 54: djpeg: not found
2009-11-14 12:56:34 captcha: djpeg.ERROR
2009-11-14 12:56:35 FAILED: CAPTCHA is NOT RECOGNIZED
2009-11-14 12:56:35 FAILED: plugin[letitbit.net] - ERROR
tis,
[: invalid integer `'
похоже что это проблема, аналогичная этой (http://wl500g.info/showthread.php?p=162697#post162697).
Попробуй в файле dlq.sh раскоментировать параметр ACCESS_TIMEOUT и задать его равным нулю:
ACCESS_TIMEOUT=0 # времЯ ожиданиЯ[минут] доступности сервера по ссылке (закомментировать чтобы не проверЯть доступность и не ожидать)
Следующая ошибка:
/opt/dlq/dlq.sh: /opt/dlq/letitbit.net.captcha.sh: 54: djpeg: not found
djpeg - это программа из пакета libjpeg. По-видимому этот пакет не установлен (он требуется для работы плагина letitbit).
tis,
Попробуй в файле dlq.sh раскоментировать параметр ACCESS_TIMEOUT и задать его равным нулю:
djpeg - это программа из пакета libjpeg. По-видимому этот пакет не установлен (он требуется для работы плагина letitbit).
Спасибо! Пакета действительно не было, поставил. И параметр расскоментировал. При случае попробую...
P.S. А #CHECKHTML_SIZE=50 нужно расскоментировать?
P.S. А #CHECKHTML_SIZE=50 нужно расскоментировать?
если этот параметр закоментирован, то лучше его раскоментировать и сделать его равным нулю:
CHECKHTML_SIZE=0
getikalex
24-11-2009, 20:37
Опять Letitbit строит козни ?
2009-11-24 21:37:24 removed
2009-11-24 21:37:24 get direct url from [letitbit.net]...
2009-11-24 21:37:24 -- Step.1:
2009-11-24 21:37:27 captcha=fca791
2009-11-24 21:37:27 -- Step.2:
2009-11-24 21:37:27 FAILED: request DENIED (bad captcha?)
2009-11-24 21:37:27 FAILED: plugin[letitbit.net] - ERROR
В браузере грузится...
Да, действительно, опять c letitbit чего-то натворили.
С утра было вот что:
2009-11-27 09:49:35 REMOVED URL
2009-11-27 09:49:35 get direct url from [letitbit.net]...
2009-11-27 09:49:37 -- Step.1:
2009-11-27 09:49:41 captcha=6cd224
2009-11-27 09:49:41 -- Step.2:
2009-11-27 09:49:42 waiting 60 sec : Wait your turn 60 seconds
2009-11-27 09:50:42 get direct url from [letitbit.net] - OK
2009-11-27 09:50:42 url=%TEXT2%
2009-11-27 09:50:43 server '' is inaccessible, trying again... ( min)
А вечером стало:
2009-11-27 16:50:56 REMOVED URL
2009-11-27 16:50:56 get direct url from [letitbit.net]...
2009-11-27 16:51:09 -- Step.1:
2009-11-27 16:51:13 captcha=edfe24
2009-11-27 16:51:13 -- Step.2:
2009-11-27 16:51:15 FAILED: URL3 not found
2009-11-27 16:51:15 FAILED: plugin[letitbit.net] - ERROR
Ссылка живая, внешне на letitbit вроде ничего не изменилось
У меня на FreeBSD-сервере не работает конструкция "sed -i '1d' $QUEUE_FILE", ругается "sed: 1: "{имя файла очереди}": extra characters at the end of {первая буква имени} command". Если после параметра -i добавить пустую строку "", начинает работать. Зато на линуксовом сервере не работает "sed -i "" '1d' $QUEUE_FILE", ругается "sed: can't read 1d: No such file or directory". Таким образом, на разных серверах приходится держать немного разные скрипты.
Может кто знает, как вызвать этот sed кроссплатформенно?
новая версия плагина для файлообменника letitbit.net
У меня на FreeBSD-сервере не работает конструкция "sed -i '1d' $QUEUE_FILE", ругается "sed: 1: "{имя файла очереди}": extra characters at the end of {первая буква имени} command". Если после параметра -i добавить пустую строку "", начинает работать. Зато на линуксовом сервере не работает "sed -i "" '1d' $QUEUE_FILE", ругается "sed: can't read 1d: No such file or directory". Таким образом, на разных серверах приходится держать немного разные скрипты.
Может кто знает, как вызвать этот sed кроссплатформенно?
Наверное не получится написать для FreeBSD и Linux одинаковую команду sed с использованием ключа -i.
Судя по описанию sed для FreeBSD, после ключа -i требуется параметр - расширение для backup-файла.
А для sed, встроенного в роутер wl500g, этот параметр-расширение не принимается.
Можно обойтись без использования ключа -i, например так:
sed '1d' $QUEUE_FILE >$QUEUE_FILE.new ; mv $QUEUE_FILE.new $QUEUE_FILE
krasaval
05-12-2009, 11:33
При скачивании с рапиды.com появилось новое сообщение:
Currently a lot of users are downloading files. Please try again in ...
В Файлик rapidshare.com.sh надо добавить еще одну проверку
# "Currently a lot of users are downloading files. Please try again in "
if grep -iq ".*a lot of users are downloading files. Please try again in.*" "$TEMP_HTML" ; then
log "waiting 2 min : no slots for FREE users 3"
sleep 2m # подождем XX минут
continue # и попробуем снова
fi
Сделано по аналогии с предыдущими.
krasaval, обработка этого сообщения уже была добавлена 02.11.2009 (http://wl500g.info/showthread.php?p=167319#post167319)
krasaval
06-12-2009, 15:10
krasaval, обработка этого сообщения уже была добавлена 02.11.2009 (http://wl500g.info/showthread.php?p=167319#post167319)
Не заметил выпуск свежей версии, у меня от 27.09.2009
Попытался все это дело использовать на fedora 10, вот что пишет
2009-12-10 00:43:30 FAILED: wget.error=127
2009-12-10 00:43:30 FAILED: plugin[rapidshare.com] - ERROR
2009-12-10 00:43:30 ================================================== ==============================
2009-12-10 00:43:30 REMOVED
2009-12-10 00:43:30 get direct url from [rapidshare.com]...
./dlq.sh: line 83: [: : integer expression expected
2009-12-10 00:43:31 -- Step.1:
/var/ftp/downloads/rapidshare.com.sh: line 10: /opt/bin/wget: No such file or directory
2009-12-10 00:43:31 FAILED: wget.error=127
2009-12-10 00:43:31 FAILED: plugin[rapidshare.com] - ERROR
2009-12-10 00:43:31 ================================================== ==============================
2009-12-10 00:43:31 REMOVED
2009-12-10 00:43:31 get direct url from [rapidshare.com]...
./dlq.sh: line 83: [: : integer expression expected
^C2009-12-10 00:43:31 -= TERMINATED =-
что может быть?
83 строчка вроде эта
if [ "$ACCESS_TIMEOUT" -le 0 ] ; then return $RC_FAIL; fi # если проверка не требуетсЯ, то выйдем
joohny,
/var/ftp/downloads/rapidshare.com.sh: line 10: /opt/bin/wget: No such file or directory
2009-12-10 00:43:31 FAILED: wget.error=127
скрипт не может найти программу wget.
Нужно найти где она находится, и прописать полный путь до неё в параметре WGET в начале файла dlq.sh :
WGET=/opt/bin/wget
Насчёт ошибки:
./dlq.sh: line 83: [: : integer expression expected
это мой косяк, как его обойти - написано здесь (http://wl500g.info/showthread.php?p=169626#post169626).
2009-12-12 00:38:57 (37.3 KB/s) - `/var/ftp/downloads/ok/REMOVED.rar' saved [100000000/100000000]
./dlq.sh: line 104: [: : integer expression expected
sed: can't read /var/ftp/downloads/tmp/dlq.temp.wget.log: No such file or directory
./dlq.sh: line 111: *1024: syntax error: operand expected (error token is "*1024")
новый какой-то косяк выскакивает))))
новый какой-то косяк выскакивает))))
Это тот же косяк, только с параметром CHECKHTML_SIZE.
Нужно сделать:
CHECKHTML_SIZE=0
Тааак)) Полет нормальный, качаю!! Тока единственное вопрос
BASE_DIR=/var/ftp/downloads # базовый каталог = каталог программы
VARFILES_DIR=$BASE_DIR # каталог длЯ изменЯемых файлов
DOWNLOAD_DIR=$BASE_DIR/ok # каталог, в который кладутсЯ скачанные файлы
#
PLUGINS_DIR=$BASE_DIR # каталог с плагинами файлообменников
QUEUE_FILE=$VARFILES_DIR/filesqueue.txt # файл-список URL-ов длЯ скачиваниЯ
DONE_FILE=$VARFILES_DIR/filesdone.txt # список успешно скачанных URL-ов
ERROR_FILE=$VARFILES_DIR/fileserror.txt # список URL-ов, при скачивании которых произошла ошибка
LOG_FILE=$VARFILES_DIR/dlqlog.txt # журнал работы программы
TEMP_FILE=/var/ftp/downloads/tmp/dlq.temp # временный файл
файлы почемуто и качаются в каталог "ok" и остаются там))
файлы почемуто и качаются в каталог "ok" и остаются там))
Так и должно быть.
В этом скрипте перемещение окончательно скачанных файлов не делается.
А у меня такие вот проблемы:
записываю в files.queue прямые ссылки на файлы для скачивания, (не с обменников), например,
http://www.aaa.com/file1.avi
http://www.bbb.ru/fil2.avi
http://.....
Запускаю скачивание, скачивается первая ссылка и все, из списка не удаляется, следующая не начинается. Чтоб запустить следующую надо из files.queue вручную удалить первую и опять запустить скачивание. Далее все повторяется.
В чем дело? С рапидшарами разными не проверял. Версия - dlq(2009-03-25)
zjuga, а какие сообщения при этом выводятся?
Никаких. Просто проверяю папку download, размер скачиваемого файла каждый раз больше - и вся индикация процесса... В логе все время надпись downloading... хотя на самом деле давно уже downloaded. Да проверь сам, делов-то!
Проверил с последней версией dlq, результат тот же.
Разобрался. Забыл написать, что после запуска закрываю телнет. Вот и отрабатывается только первая строчка. Стал дописывать в конец строки значек &, теперь все в порядке. спасибо, классный скриптик :) . Для этого и покупал именно этот роутер.
dryupitz
19-12-2009, 10:32
У меня в плугине для rapidshare адрес файла похоже неправильно передается во wget... Вот кусок лога:
2009-12-19 11:24:03 REMOVED URL
2009-12-19 11:24:03 get direct url from [rapidshare.com]...
2009-12-19 11:24:03 -- Step.1:
2009-12-19 11:24:03 url2=REMOVED URL
2009-12-19 11:24:03 -- Step.2:
2009-12-19 11:24:04 waiting 97 sec : Still 97 seconds
2009-12-19 11:25:41 get direct url from [rapidshare.com] - OK
2009-12-19 11:25:41 url=REMOVED URL
2009-12-19 11:25:41 downloading...
--2009-12-19 11:25:41-- REMOVED URL
Распознаётся rs652tl.rapidshare.com... 80.239.225.53
Устанавливается соединение с rs652tl.rapidshare.com|80.239.225.53|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ... 404 Not Found
2009-12-19 11:25:41 ОШИБКА 404: Not Found.
2009-12-19 11:25:41 FAILED: wget.error=1
Это не единственный файл, проверил их несколько. Оперой качаются. С депозита закачка идет нормально.
Да, чуть не забыл: система FreeBSD 7.2
dryupitz,
проверил у себя скачивание с rapidshare.com - работает нормально.
Ошибка "404 Not Found" возникает, если пытаться докачивать файл с рапиды в режиме [Free User].
Скрипт dlq всегда пытается докачать файл, если такой файл (или его часть) уже существует в каталоге downloads.
Поэтому нужно проверить - существует ли в каталоге downloads файл 01CMEbox-Sym.part01.rar, удалить его и попробовать скачать его снова.
dryupitz
20-12-2009, 16:25
dryupitz,
Поэтому нужно проверить - существует ли в каталоге downloads файл 01CMEbox-Sym.part01.rar, удалить его и попробовать скачать его снова.
Точно, я балбес, не заметил что этот файл успел скачать раньше. И еще два, которые пытался скачать вчера.
Спасибо за замечательный скрипт!
Кстати, у меня FreeBSD, кроме небольшой пролемы с параметрами sed, у меня была проблемка с командой sleep: во FreeBSD в этой команде нет модификаторов "m" и "s", пришлось минуты переводить в секунды. Я сделал это так:
wait_s=$(expr 60 \* $wait)
sleep ${wait_s}
Может пригодится кому...
Что то опять рапида поменяла в страницах при скачивании. Вчера в файл ошибок валилось много рапидовских ссылок.
Что то опять рапида поменяла в страницах при скачивании. Вчера в файл ошибок валилось много рапидовских ссылок.
Появилось новое сообщение
Unfortunately right now our servers are overloaded and we have no more download slots left for non-members. Of course you can also try again later.
Т.е в плагин нужно добавить?
if grep -iq "try again later" "$TEMP_HTML" ; then
sleep 1m
continue
fi
krasaval
02-01-2010, 08:41
В файле rapidshare.com.sh перед этим
# поищем url3
# <form name="dlf" action="http://rs300tl3.rapidshare.com.....
вот такой блок надо добавить:
# "Unfortunately right now our servers are overloaded and we have no more download slots left for non-members. Of course you can also try again later"
if grep -iq ".*Of course you can also try again later.*" "$TEMP_HTML" ; then
log "waiting 2 min : no slots for FREE users 4"
sleep 2m # подождем XX минут
continue # и попробуем снова
fi
Я добавил свой IF
перед
# url3 не нашли?
if [ "$url" = "" ] ;
у меня все работает. Спасибо.
getikalex
31-01-2010, 20:27
Уже правилось по чуть-чуть разными пользователями.
Мож. кто выложит последнюю подправленную обобщенную версию..?
sibgle2009
31-01-2010, 20:40
Вот текущая версия, стоящая у меня. Вроде все правки, упомянутые в теме включены
Насчёт FreeBSD/Linux и разных параметров sed - можно проверять setenv HOSTTYPE=FreeBSD и OSTYPE=FreeBSD.
Скрипточек понравился, правда править приходится в том числе пути до wget и curl.
Не помешает всё-таки веб-морда, очень было бы приятно таким удалённо рулить без терминала.
Под FreeBSD 8 не переваривает "$(($CHECKHTML_SIZE*1024))" при заремаренном параметре, падает с ошибкой в этом месте после того как закончит качать файл. Есть смысл разремарить и при желании жёстко прописать 0.
А с ifolder и upload.com.ua этой штукой можно качать?
Чутка раздражает постоянное bad number, хотя закачка идёт.
2010-02-05 07:56:23 get direct url from [depositfiles.com]...
[: : bad number
2010-02-05 07:56:30 -- Step.1:
На FreeBSD sleep не понимает 1m, пришлось всё переписать с пересчётом на секунды (например вместо sleep 2m теперь sleep 120).
С letitbit не качает
QUAZIS# ./dlq.sh
2010-02-07 03:30:22 ================================================== ==============================
2010-02-07 03:30:22 REMOVED URL
2010-02-07 03:30:22 get direct url from [letitbit.net]...
local: Not in a function
[: : bad number
2010-02-07 03:30:23 -- Step.1: (try.1)
2010-02-07 03:30:25 -- Step.2:
local: Not in a function
awk: syntax error at source line 3
context is
print ":" >>> >outFile"." <<<
awk: illegal statement at source line 3
awk: syntax error at source line 6
grep: /tmp/dlq.temp.html.captcha.char.0: Нет такого файла или каталога
awk: syntax error at source line 3
context is
print ":" >>> >outFile"." <<<
awk: illegal statement at source line 3
awk: syntax error at source line 6
grep: /tmp/dlq.temp.html.captcha.char.0: Нет такого файла или каталога
awk: syntax error at source line 3
context is
print ":" >>> >outFile"." <<<
awk: illegal statement at source line 3
awk: syntax error at source line 6
grep: /tmp/dlq.temp.html.captcha.char.0: Нет такого файла или каталога
2010-02-07 03:30:34 FAILED: CAPTCHA is NOT RECOGNIZED
2010-02-07 03:30:34 FAILED: plugin[letitbit.net] - ERROR
2010-02-07 03:30:34 ================================================== ==============================
С depositfiles 3 файла позавчера скачало и всё, на остальные Button [Free] not found. С vip-files тоже что-то не пошло, в общем качает стабильно только с рапиды.
sibgle2009
07-02-2010, 11:28
Чутка раздражает постоянное bad number, хотя закачка идёт.
2010-02-05 07:56:23 get direct url from [depositfiles.com]...
[: : bad number
2010-02-05 07:56:30 -- Step.1:
Насколько мне удалось заметить это собщение с bad number появляется после установки какого-то пакета из opt, у меня тоже вылезало, потом переустановил с нуля только самое необходимое:
e2fslibs - 1.41.9-1 - Ext2 Filesystem Libraries
glib - 2.20.4-1 - The GLib library of C routines.
ipkg-opt - 0.99.163-10 - The Itsy Package Manager
libjpeg - 6b-3 - collection of jpeg tools
mc - 4.7.0.1-1 - Midnight Commander File Manager
ncurses - 5.7-1 - NCurses libraries
screen - 4.0.3-2 - A screen manager that supports multiple logins on single terminal
slang - 2.1.4-1 - S-Lang is a multi-platform library designed to allow a developer to create robust multi-platform software.
squid - 2.6.21-2 - Full-featured Web proxy cache.
termcap - 1.3.1-2 - Terminal emulation library
uclibc-opt - 0.9.28-13 - micro C library for embedded Linux systems
wget - 1.12-2 - A network utility to retrieve files from the Web
и сообщения bad number больше не видел
Немного не въехал, что писать в поле логина например для letitbit ?
Ночью в каталоге со скриптами появился troff.core, возможно это и есть та "лишняя" софтина
getikalex
08-02-2010, 18:49
что писать в поле логина например для letitbit
Так ведь по-ходу скрипт для free User.
Хотя если есть аккаунты, согласно описанию, их надо прописать в dlq.passwords, но проверить не могу. Отродясь таких не имел. И так качает, за что автору спасибо.:)
Ну у меня с letitbit ни с ключём, ни без него не качает. С depositfiles качает только когда не пишет что все слоты для вашей страны заняты.
QuAzI > у меня с letitbit ни с ключём, ни без него не качает.
С Letitbit без пароля скачивается нормально.
Скачивание с Letitbit по паролю пока не сделано.
Чтобы разобраться в чём проблема, нужно посмотреть логи.
Версии скриптов стоят последние?
QuAzI > с depositfiles качает только когда не пишет что все слоты для вашей страны заняты.
Не встречал ещё такого сообщения. Попробую поймать его и сделать обработку.
Выложу html-страничку, когда споймаю. Или вечером или на выходных. Я кстати не в России, а в Беларуси, наверное отсюда и другое количество свободных слотов.
LetItBit - скрипт запускаю на FreeBSD и ему постоянно ненравится что-то
2010-02-12 07:56:37 ================================================== ==============================
2010-02-12 07:56:37 REMOVED URL
2010-02-12 07:56:37 get direct url from [letitbit.net]...
local: Not in a function
[: : bad number
2010-02-12 07:56:44 -- Step.1: (try.1)
2010-02-12 07:57:01 -- Step.2:
local: Not in a function
awk: syntax error at source line 3
context is
print ":" >>> >outFile"." <<<
awk: illegal statement at source line 3
awk: syntax error at source line 6
grep: /tmp/dlq.temp.html.captcha.char.0: Нет такого файла или каталога
awk: syntax error at source line 3
context is
print ":" >>> >outFile"." <<<
awk: illegal statement at source line 3
awk: syntax error at source line 6
grep: /tmp/dlq.temp.html.captcha.char.0: Нет такого файла или каталога
awk: syntax error at source line 3
context is
print ":" >>> >outFile"." <<<
awk: illegal statement at source line 3
awk: syntax error at source line 6
grep: /tmp/dlq.temp.html.captcha.char.0: Нет такого файла или каталога
2010-02-12 07:58:04 FAILED: CAPTCHA is NOT RECOGNIZED
2010-02-12 07:58:04 FAILED: plugin[letitbit.net] - ERROR
2010-02-12 07:58:04 ================================================== ==============================
Скрипты брал последние которые выложены в теме.
Если надо, могу дать доступ по ssh для тестирования на FreeBSD.
QuAzI,
Немного подправил плагин letitbit.net для совместимости с FreeBSD.
Чтобы не было ошибок "[: : bad number", попробуй в файле dlq.sh раскоментировать параметры ACCESS_TIMEOUT, CHECKHTML_SIZE и задать их равными нулю:
ACCESS_TIMEOUT=0 # время ожидания[минут] доступности сервера по ссылке (закомментировать чтобы не проверять доступность и не ожидать)
CHECKHTML_SIZE=0 # макс.размер[KB] скачанного файла для проверки =html? (закомментировать чтобы не проверять)
Спасибо, тепереча всё просто шикарно !
mr-butch
18-02-2010, 21:14
Многоуважаемый Serg0.
Возможно ли закачку с Depositfiles.com сделать через сервис savefrom - добавляя ss вначале. То есть получая ссылку вида http://ssdepositfiles.com/ru/... и переходя на следующую страничку нажимать на ссылку "Скачать".
Тем самым исключая ожидание в 60 секунд и ожидания времени после очередного скачанного файла.
Спасибо.
Прошлые выходные прошли как по маслу. В эти опять все депозиты мне обломились. Выкладываю старничку с "Все слоты заняты".
Возможно ли закачку с Depositfiles.com сделать через сервис savefrom ...
Посмотрел как работает сервис savefrom.net - там прямая ссылка передаётся на компьютер пользователя в зашифрованном виде, и уже на компе пользователя расшифровывается с помощью javascript.
Сам файл скачивается не напрямую с depositfiles.com, а через сервер savefrom.net - получается что-то типа прокси.
Надо будет посмотреть - можно ли простыми средствами расшифровать полученную ссылку.
Если получится, то наверное можно будет скачивать всё, что позволяет сервис savefrom.net
mr-butch
04-03-2010, 07:17
Добрый день.
При скачивании списка фалов с depositfiles.com выводится ошибка - "HTTP request sent, awaiting response... 400 Bad Request". Скачивается лишь первый файл, остальные в Error. Перезагрузка роутера не помогает. Как мне исправить эту ошибку?
Установлена Wget версии 1.12-2.
новая версия плагина для файлообменника rapidshare.com
Изменения:
- сделана обработка изменившейся странички "no slots for free users" ("no more download slots left for non-members")
(здесь это уже обсуждали (http://wl500g.info/showthread.php?p=176545#post176545) и предлагали варианты изменений)
- сделана возможность скачивания по паролю [Premium User]
Чтобы скачивалось с использованием пароля, нужно записать логин/пароль в файл dlq.passwords
Пример файла dlq.passwords:
host login password
-----------------------------------
rapidshare.com 12345678 ABCDEFGH
Кроме того, в настройках Premium аккаунта на сайте rapidshare.com нужно установить птичку:
[v] Direct downloads
Чтобы временно отключить пароль, т.е. на время переключиться в режим [Free User],
достаточно исказить имя сервера в файле dlq.passwords, например так: -rapidshare.com
либо стереть только пароль.
В этом же архиве лежит новая версия скрипта dlq.sh
Его нужно установить, если вы хотите скачивать с rapidshare.com по паролю.
Если же скачивать с рапиды без пароля (Free User), то новую версию dlq.sh можно нет ставить.
Напоминаю, что в начале файла dlq.sh находятся параметры настройки, поэтому при установке новой версии dlq.sh,
может потребоваться повторная настройка этих параметров.
Для полного счастья не хватает пожалуй лишь поддержки getalbums.ru и, может быть, попробовать заменить стандартный wget на aria2c (тоесть фактически добавить поддержку торрентов и металинка) :)
mr-butch
09-03-2010, 21:10
Так что со скачиванием с depositfiles.com. У меня одного такие проблемы? никто не знает как исправить?
getikalex
09-03-2010, 22:47
У меня тоже с depositfiles проблемы имеются. Вроде начинает качать, но не докачивает. Ставил уже раза три-четыре на закачку. Ставится, качает, но - так и не докачал. Уже вроде вот-вот коненец.. Качало почти 15 часов. Но не получилочь. И так постоянно. Ошибка вылетает FAILED: wget.error=8. Причем в разное время. То в начале то в конце....
ХЗ. Электричество до конца не изучено.....
2010-03-05 09:47:42 REMOVED
2010-03-05 09:47:42 get direct url from [depositfiles.com]...
2010-03-05 09:47:42 -- Step.1:
2010-03-05 09:47:44 url2=REMOVED URL
2010-03-05 09:47:44 -- Step.2:
2010-03-05 09:47:44 waiting 5 min : Your IP address is already downloading a file
2010-03-05 09:52:44 -- Step.1:
2010-03-05 09:52:46 url2=REMOVED URL
2010-03-05 09:52:46 -- Step.2:
2010-03-05 09:52:47 get direct url from [depositfiles.com] - OK
2010-03-05 09:52:47 url=REMOVED URL
2010-03-05 09:52:47 downloading...
2010-03-05 23:22:12 FAILED: wget.error=8
getikalex, это что-то wget не может осилить, возможно в какой-то момент теряется соединение.
После сбоя, wget наверное снова пытается по этой же прямой ссылке докачать файл, но эта прямая ссылка к тому времени уже недействительна.
Если запустить скрипт не в фоновом режиме (можно в screen-сеансе), то на терминале можно будет более подробно посмотреть причину ошибки wget.
Вроде бы depositfiles позволяет докачивать. Поэтому если не удалять частично скачанный файл, и снова поставить ссылку в очередь, то должно докачаться.
Набросал тут скрипт (dlq), который запускает dlq.sh в screen'е.
В случае, если dlq.sh уже запущен (из того же каталога), то делается аттач к screen-сессии.
Файл dlq (должен находиться в одном каталоге с dlq.sh):
#!/bin/sh
BASENAME=`basename $0`
PPID=`ps -C $BASENAME.sh -o flag,ppid,cmd | awk '$1 != 1 && $4 == "'$0.sh'" {print($2)}'`
if [ "$PPID" ]; then
echo Attaching screen...
if ! screen -S $PPID.$BASENAME -x > /dev/null; then
echo "Cannot attach: dlq probably running outside the screen."
exit 1
fi
else
echo Starting screen...
screen -S $BASENAME $0.sh --daemon
fi
Для удобства запуска в '~/.profile' добавляем 'alias dlq=/opt/etc/dlq/dlq'
Так же рекомендую вставить в начало оригинального скрипта (dlq.sh) эти строки:
PID=`ps -C $(basename $0) -o flag,pid,cmd | awk '$1 != 1 && $2 != '$$' && $4 == "'$0'" {print($2)}'`
if [ "$PID" ]; then
echo "dlq alredy running (PID $PID)"
exit 1
fi
которые препятствуют запуску более одной копии скрипта из одного каталога.
Опять letitbit.net химичит, plugin не работает
в логах вот что:
2010-03-16 22:03:56 ================================================== ==============================
2010-03-16 22:03:57 REMOVED URL
2010-03-16 22:03:57 get direct url from [letitbit.net]...
2010-03-16 22:03:58 -- Step.1: (try.1)
2010-03-16 22:04:01 Size=323250250
2010-03-16 22:04:01 -- Step.2:
2010-03-16 22:04:06 captcha=69108d
2010-03-16 22:04:06 -- Step.3:
2010-03-16 22:04:07 -- Step.4:
2010-03-16 22:04:08 waiting 60 sec : Wait your turn 60 seconds
2010-03-16 22:05:09 -- Step.5:
2010-03-16 22:05:10 FAILED: URL6 not found
2010-03-16 22:05:10 FAILED: plugin[letitbit.net] - ERROR
2010-03-16 22:05:10 ================================================== ==============================
2010-03-16 22:05:10 REMOVED URL
2010-03-16 22:05:10 get direct url from [letitbit.net]...
2010-03-16 22:05:12 -- Step.1: (try.1)
2010-03-16 22:05:16 Size=278714847
2010-03-16 22:05:16 -- Step.2:
2010-03-16 22:05:21 captcha=3e0617
2010-03-16 22:05:21 -- Step.3:
2010-03-16 22:05:22 -- Step.4:
2010-03-16 22:05:23 waiting 60 sec : Wait your turn 60 seconds
2010-03-16 22:06:23 -- Step.5:
2010-03-16 22:06:24 FAILED: URL6 not found
2010-03-16 22:06:24 FAILED: plugin[letitbit.net] - ERROR
Опять letitbit.net химичит, plugin не работает
Не работает потому, как время ожидания изменили с 60 до 100 сек.
Нужно заменить строки 138,139 скрипта letitbit.net.sh
log "waiting 60 sec : Wait your turn 60 seconds"
sleep 60s # ждем 60 секунд
на эти:
# <span id="errt">100</span> секунд</b><script language="javascript">StartGlide();</script>
wait=$( sed -n 's/^.*<span id="errt">\([0-9]*\)<\/span>.*$/\1/p' "$TEMP_HTML" )
log "waiting $wait sec : Wait your turn $wait seconds"
sleep ${wait}s # ждем XX секунд
Это просто праздник какой-то особенно после установки 640G винта :)
Хочу поделиться своими замечаниями.
Тут (http://wl500g.info/showpost.php?p=158636&postcount=56) есть скрипт для unslung, так вот, в таком виде он у меня не заработал (вываливался после окончания очереди).
На основании этого (http://wl500g.info/showpost.php?p=155513&postcount=32) я в строкe
DAEMON_OPTS=" --daemon"
заменил на
DAEMON_OPTS=" --daemon" >/dev/null 2>&1 &"
Все заработало!
getikalex
21-03-2010, 22:17
А в чем фишка ?
Чем оно отличается от того, что было
http://wl500g.info/showpost.php?p=155513&postcount=32
У меня давно так работает.
Периодически после закачки очередного файла скрипт вываливается забыв вычернуть ссылку уже закачанного файла из files.queue. Никаких ошибок в логе нет.
Приходится вручную опять запускать скрипт.
Куда рыть?
Rucha,
а каким образом запускается скрипт?
Разобрался в проблеме - раскоментировал ACCESS_TIMEOUT и CHECKHTML_SIZE со значениями 0.
Теперь все ок.
Почему они изначально закоментированы, если это валит скрипт?
Не у всех это валит скрипт.
В версии скрипта, который выложен вместе с последним плагином rapidshare.com (здесь (http://wl500g.info/showthread.php?p=187635)), проблема с этими параметрами исправлена.
новая версия плагина для файлообменника depositfiles.com
Изменения:
- добавлена обработка страничек:
"все слоты для вашей страны исчерпаны"
"в данное время файл не может быть доступен в связи с проведением обновлений ПО"
- сделал попытку избежать появления сообщений типа "ERROR 400: Bad Request" (Guest-Limit: Wait 2534 seconds)
- сделана возможность скачивания по паролю [Gold account]
Чтобы скачивалось с использованием пароля, нужно записать логин/пароль в файл dlq.passwords
Пример файла dlq.passwords:
host login password
--------------------------------------------
depositfiles.com 1234567890ab abcdefghijkl
текущая версия скрипта dlq
Нового здесь ничего нет, все эти файлы уже выкладывались, просто собрал их все вместе в одном архиве.
Для какого дистрибутива предназначен скрипт? На Ubuntu 9.10 не работает ни в какую
Скрипт dlq был сделан для роутера ASUS WL-500, и аналогичные ему.
На моём роутере вот такой линукс:
Linux wl500gp 2.4.20 #18 Sun Mar 30 13:13:29 MSD 2008 mips unknown
Но судя по отзывам в этой теме, скрипт работает и в других местах, например на FreeBSD (возможно с небольшими изменениями).
andrinlindo, если ещё интересует, то можно попробовать настроить и на Ubuntu.
dryupitz
10-05-2010, 13:39
Всех с праздником Победы!!!
У меня почему-то letitbit.sh не работает. Каптчу получает, но потом ошибка. Система - FreeBSD.
2010-05-10 15:35:02 REMOVED
2010-05-10 15:35:02 get direct url from [letitbit.net]...
local: Not in a function
2010-05-10 15:35:02 -- Step.1: (try.1)
2010-05-10 15:35:03 -- Step.2:
local: Not in a function
2010-05-10 15:35:04 captcha=1dce18
2010-05-10 15:35:04 -- Step.3:
2010-05-10 15:35:04 -- Step.4:
2010-05-10 15:35:04 waiting 60 sec : Wait your turn 60 seconds
2010-05-10 15:36:04 -- Step.5:
2010-05-10 15:36:05 FAILED: URL6 not found
2010-05-10 15:36:05 FAILED: plugin[letitbit.net] - ERROR
2010-05-10 15:36:05 -=END=-
Скрипт dlq был сделан для роутера ASUS WL-500, и аналогичные ему.
На моём роутере вот такой линукс:
Linux wl500gp 2.4.20 #18 Sun Mar 30 13:13:29 MSD 2008 mips unknown
Но судя по отзывам в этой теме, скрипт работает и в других местах, например на FreeBSD (возможно с небольшими изменениями).
andrinlindo, если ещё интересует, то можно попробовать настроить и на Ubuntu.
Работает на OpenBSD кроме плагина на letitbit.
Всех с праздником Победы!!!
У меня почему-то letitbit.sh не работает. Каптчу получает, но потом ошибка. Система - FreeBSD.
2010-05-10 15:35:02 REMOVED URL
2010-05-10 15:35:02 get direct url from [letitbit.net]...
local: Not in a function
2010-05-10 15:35:02 -- Step.1: (try.1)
2010-05-10 15:35:03 -- Step.2:
local: Not in a function
2010-05-10 15:35:04 captcha=1dce18
2010-05-10 15:35:04 -- Step.3:
2010-05-10 15:35:04 -- Step.4:
2010-05-10 15:35:04 waiting 60 sec : Wait your turn 60 seconds
2010-05-10 15:36:04 -- Step.5:
2010-05-10 15:36:05 FAILED: URL6 not found
2010-05-10 15:36:05 FAILED: plugin[letitbit.net] - ERROR
2010-05-10 15:36:05 -=END=-
Тоже самое.
Что-то letitbit химичит.
getikalex
11-05-2010, 19:29
Да, вынужден констатировать - letitbit не пашет.
2010-05-11 07:05:40 REMOVED
2010-05-11 07:05:40 get direct url from [letitbit.net]...
2010-05-11 07:05:40 -- Step.1: (try.1)
2010-05-11 07:05:46 -- Step.2:
2010-05-11 07:05:52 captcha=194da8
2010-05-11 07:05:53 -- Step.3:
2010-05-11 07:05:54 -- Step.4:
2010-05-11 07:05:55 waiting 60 sec : Wait your turn 60 seconds
2010-05-11 07:06:56 -- Step.5:
2010-05-11 07:07:00 FAILED: URL6 not found
2010-05-11 07:07:00 FAILED: plugin[letitbit.net] - ERROR
2010-05-11 07:09:03 ================================================== ==============================
2010-05-11 07:09:03 REMOVED
2010-05-11 07:09:03 get direct url from [letitbit.net]...
2010-05-11 07:09:04 -- Step.1: (try.1)
2010-05-11 07:09:06 -- Step.2:
2010-05-11 07:09:10 captcha=a8a325
2010-05-11 07:09:10 -- Step.3:
2010-05-11 07:09:11 -- Step.4:
2010-05-11 07:09:11 waiting 60 sec : Wait your turn 60 seconds
2010-05-11 07:10:13 -- Step.5:
2010-05-11 07:10:16 FAILED: URL6 not found
2010-05-11 07:10:16 FAILED: plugin[letitbit.net] - ERROR С компа качает...:confused:
А у вас не старая версия скрипта случайно?
Просто я например вчера почти без проблем скачал с Letitbita два файла по 4Gb
1970-01-01 03:04:24 REMOVED URL
1970-01-01 03:04:24 get direct url from [letitbit.net]...
1970-01-01 03:04:24 -- Step.1: (try.1)
1970-01-01 03:04:29 Size=4333514752
1970-01-01 03:04:29 -- Step.2:
1970-01-01 03:04:31 captcha=b77ad8
1970-01-01 03:04:32 -- Step.3:
1970-01-01 03:04:32 -- Step.4:
1970-01-01 03:04:33 waiting 60 sec : Wait your turn 60 seconds
1970-01-01 03:05:33 -- Step.5:
1970-01-01 03:05:33 get direct url from [letitbit.net] - OK
1970-01-01 03:05:33 url=REMOVED URL
1970-01-01 03:05:34 downloading...
1970-01-01 04:57:57 -=OK=-
1970-01-01 04:57:57 ================================================== ==============================
1970-01-01 04:57:57 REMOVED URL
1970-01-01 04:57:57 get direct url from [letitbit.net]...
1970-01-01 04:57:57 -- Step.1: (try.1)
1970-01-01 04:57:59 Size=4444839936
1970-01-01 04:57:59 -- Step.2:
1970-01-01 04:58:03 captcha=acba7f
1970-01-01 04:58:03 -- Step.3:
1970-01-01 04:58:04 -- Step.4:
1970-01-01 04:58:04 waiting 60 sec : Wait your turn 60 seconds
1970-01-01 04:59:04 -- Step.5:
1970-01-01 04:59:04 FAILED: URL6 not found
1970-01-01 04:59:05 FAILED: plugin[letitbit.net] - ERROR
1970-01-01 05:05:05 ================================================== ==============================
1970-01-01 05:05:05 REMOVED URL
1970-01-01 05:05:05 get direct url from [letitbit.net]...
1970-01-01 05:05:05 -- Step.1: (try.1)
1970-01-01 05:05:07 Size=4444839936
1970-01-01 05:05:07 -- Step.2:
1970-01-01 05:05:09 captcha=acba7f
1970-01-01 05:05:09 -- Step.3:
1970-01-01 05:05:20 -- Step.4:
1970-01-01 05:05:20 waiting 60 sec : Wait your turn 60 seconds
1970-01-01 05:06:20 -- Step.5:
1970-01-01 05:06:21 get direct url from [letitbit.net] - OK
1970-01-01 05:06:21 url=REMOVED URL
1970-01-01 05:06:21 downloading...
1970-01-01 08:16:05 -=OK=-
Возможно на это я не особо обращаю внимание потому что у меня ошибочные ссылки не удаляются а ставятся в конец очереди и если произошла ошибка то этя ссылка скачивается позже
dryupitz
12-05-2010, 13:53
Нет, обновил все скрипты на dlq(2010-04-01).rar почти сразу как он появился сдесь.
Какая-то проблема с letitbit всё-таки есть.
Попробовал поставить в очередь 30 раз одну и ту же ссылку letitbit.
25 раз скачалось нормально, а 5 раз появилась ошибка "URL6 not found". Ошибки появляются не подряд.
Проблема какая-то плавающая - то работает, то не работает. Что-то серверу летитбит иногда не нравится.
Причём с компьютера эта же ссылка скачивается нормально.
Попробую поразбираться...
Некоторая суета по поводу летитбита в последние дни и на форуме по USD (Universal Share Downloader).
Примерно понял в чём проблема с letitbit.net
Имя letitbit.net имеет несколько ip-адресов, время жизни которых равно 5 минут. Так вот, иногда получается что при ожидании задержки в 60 секунд, происходит обновление ip-адресов для имени letitbit.net, и при следующем запросе странички с сервера letitbit.net (шаг 5) - происходит обращение к серверу с другим ip-адресом, который по-видимому ничего не знает про наш сеанс, и отказывает нам.
Теперь надо как-то сделать, чтобы wget на шаге 5 использовал тот же ip-адрес, что и на шаге 4.
Пока не знаю как это сделать...
getikalex
13-05-2010, 20:18
25 из 30 - неплохо. Везет.
я трижды подряд ставил, и трижды ошибка
2010-05-13 20:35:50 REMOVED
2010-05-13 20:35:51 get direct url from [letitbit.net]...
2010-05-13 20:35:51 -- Step.1: (try.1)
2010-05-13 20:35:53 -- Step.2:
2010-05-13 20:35:57 captcha=0b9e07
2010-05-13 20:35:57 -- Step.3:
2010-05-13 20:35:57 -- Step.4:
2010-05-13 20:35:58 waiting 60 sec : Wait your turn 60 seconds
2010-05-13 20:36:58 -- Step.5:
2010-05-13 20:36:59 FAILED: URL6 not found
2010-05-13 20:36:59 FAILED: plugin[letitbit.net] - ERROR
2010-05-13 22:09:20 ================================================== ==============================
2010-05-13 22:09:20 REMOVED
2010-05-13 22:09:20 get direct url from [letitbit.net]...
2010-05-13 22:09:20 -- Step.1: (try.1)
2010-05-13 22:09:24 -- Step.2:
2010-05-13 22:09:31 captcha=4477dd
2010-05-13 22:09:31 -- Step.3:
2010-05-13 22:09:33 -- Step.4:
2010-05-13 22:09:36 waiting 60 sec : Wait your turn 60 seconds
2010-05-13 22:10:36 -- Step.5:
2010-05-13 22:10:37 FAILED: URL6 not found
2010-05-13 22:10:37 FAILED: plugin[letitbit.net] - ERROR
2010-05-13 22:12:39 ================================================== ==============================
2010-05-13 22:12:39 REMOVED
2010-05-13 22:12:39 get direct url from [letitbit.net]...
2010-05-13 22:12:39 -- Step.1: (try.1)
2010-05-13 22:12:43 -- Step.2:
2010-05-13 22:12:48 captcha=4477dd
2010-05-13 22:12:48 -- Step.3:
2010-05-13 22:12:50 -- Step.4:
2010-05-13 22:12:52 waiting 60 sec : Wait your turn 60 seconds
2010-05-13 22:13:52 -- Step.5:
2010-05-13 22:13:53 FAILED: URL6 not found
2010-05-13 22:13:53 FAILED: plugin[letitbit.net] - ERROR с компа пошло нормально....
Один из способов решить проблему с ошибкой "URL6 not found" на letitbit.net - это статически прописать ip-адрес для сервера letitbit.net в файле /etc/hosts
например так:
78.140.160.235 letitbit.net
Сейчас сервер letitbit.net имеет 8 ip-адресов:
78.108.183.36
78.108.180.144
78.108.182.197
78.140.160.235
78.140.160.236
78.140.160.237
78.140.160.238
78.140.160.239
новая версия плагина для файлообменника letitbit.net
Сделана обработка ошибки "URL6 not found" - при возникновении этой ошибки, обработка ссылки начинается заново.
getikalex
30-05-2010, 20:03
Что-то эта новая версия у меня работать не хочет...
================================================== ==============================
2010-05-30 21:55:21 REMOVED
2010-05-30 21:55:21 get direct url from [letitbit.net]...
2010-05-30 21:55:21 -- Step.1: (try.1)
2010-05-30 21:55:23 -- Step.2:
2010-05-30 21:55:26 captcha=67177c
2010-05-30 21:55:26 -- Step.3:
2010-05-30 21:55:27 -- Step.4:
2010-05-30 21:55:27 waiting 60 sec : Wait your turn 60 seconds
2010-05-30 21:56:27 -- Step.5:
2010-05-30 21:56:28 FAILED: URL6 not found
2010-05-30 21:56:28 FAILED: plugin[letitbit.net] - ERROR
вручную браузером скачалось на ура. Видать плагин не доведен до ума.
ЗЫ Если у кого работает - поделитесь бубнами и танцем - как заставить его качать letitbit
getikalex,
а точно последняя версия плагина стоит?
в последней версии, в файле letitbit.net.sh во второй строчке написана дата [15.05.2010]
Сейчас попробовал(20 раз) скачивать эту ссылку - начинает скачивать нормально.
getikalex
31-05-2010, 14:51
Уже в который раз скачал отсюда http://wl500g.info/showpost.php?p=197476&postcount=195,
заменил плагины и перезагрузил. дата - 15.05
Скормил ту же ссылку.Результат:
================================================== ==============================
2010-05-31 16:40:19 REMOVED
2010-05-31 16:40:19 get direct url from [letitbit.net]...
2010-05-31 16:40:19 -- Step.1: (try.1)
2010-05-31 16:40:23 -- Step.2:
2010-05-31 16:40:26 captcha=c8092d
2010-05-31 16:40:26 -- Step.3:
2010-05-31 16:40:26 -- Step.4:
2010-05-31 16:40:26 waiting 60 sec : Wait your turn 60 seconds
2010-05-31 16:41:27 -- Step.5:
2010-05-31 16:41:28 FAILED: URL6 not found
2010-05-31 16:41:28 FAILED: plugin[letitbit.net] - ERROR
Letitbit изменил порядок страниц:
2010-06-01 10:24:13 ================================================== ==============================
2010-06-01 10:24:14 REMOVED
2010-06-01 10:24:14 get direct url from [letitbit.net]...
2010-06-01 10:24:14 -- Step.1: (try.1)
2010-06-01 10:24:17 -- Step.2:
2010-06-01 10:24:18 FAILED: url_captcha/uid2 - not found
2010-06-01 10:24:18 FAILED: plugin[letitbit.net] - ERROR
2010-06-01 10:24:18 ================================================== ==============================
новая версия плагина для файлообменника letitbit.net
Добавлена обработка новой странички "Премиум Доступ. Для всех. На 24 часа."
// вложенный файл dlq_letitbit.net(2010-06-02).rar - удалил, т.к. дальше(04.06.2010) выложена исправленная версия этого плагина.
Что-то эта новая версия(15.05.2010) у меня работать не хочет...
getikalex, если проблема "URL6 not found" на летитбит ещё осталась, то можно попробовать разобраться с ней.
Для этого нужно заменить файл letitbit.net.sh (приложен к сообщению), запустить какую-нибудь ссылку letitbit,
и выложить сюда лог-файл dlq.log + файлы step*.html из текущего каталога.
getikalex
02-06-2010, 18:43
Пробовал два раза. Вот что пишет лог,
никаких файлов в папке скрипта больше нет.
Еще два файлика в архиве - они были в /tmp
getikalex,
Странно, даже до 3-го шага не дошло...
Сейчас попробовал запустить у себя - все шаги прошли нормально. Может быть на летитбит что-то меняется в зависимости от времени суток?
никаких файлов в папке скрипта больше нет.
Файлы step*.html создаются в текущем каталоге. Наверное не получилось, потому что скрипт был запущен в режиме демона.
Чтобы всё-таки получилось, нужно сделать так:
- перейти в каталог программы
- остановить скрипт: ./dlq-stop.sh
- записать ссылку на летитбит в файл очереди
- вручную запустить скрипт: ./dlq.sh
- в текущем каталоге должны создаться файлы step*.html
Появление странички "Премиум Доступ. На 24 часа." на letitbit.net зависит от ip-адреса компьютера.
Например с украинского ip-адреса - эта страничка не показывается.
Так что нужно переделать плагин...
getikalex
03-06-2010, 18:18
остановил
./dlq-stop.sh
кинул ссылку в файл запросов
запустил
результат:
./dlq.sh
2010-06-03 20:14:29 ================================================== ==============================
2010-06-03 20:14:29 REMOVED
2010-06-03 20:14:29 get direct url from [letitbit.net]...
2010-06-03 20:14:29 -- Step.1: (try.1)
2010-06-03 20:14:31 -- Step.1b:
2010-06-03 20:14:33 -- Step.2:
2010-06-03 20:14:34 FAILED: URL3 not found
2010-06-03 20:14:34 FAILED: plugin[letitbit.net] - ERROR
2010-06-03 20:14:34 -=END=-
действительно появились файлики
step1.html
step1b.html
step2.html
их содержимое собрал в архив
ЗЫ: У меня украинский IP - может это как-то влияет ??? ХЗ я уже не знаю что еще придумать...
getikalex,
Для российских ip-адресов летитбит выдаёт дополнительую информацию и дополнительую страничку, чем для украинских ip-адресов, поэтому и различается поведение плагина. Пытаюсь это учесть в новой версии плагина, которую скоро выложу.
исправленная версия плагина для файлообменника letitbit.net
исправленная версия плагина для файлообменника letitbit.net
Может тогда и премиум допилишь? см. в PM
getikalex
04-06-2010, 20:20
Таки не работает оно для letitbit
2010-06-04 22:14:11 ================================================== ==============================
2010-06-04 22:14:12 REMOVED
2010-06-04 22:14:12 get direct url from [letitbit.net]...
2010-06-04 22:14:12 -- Step.1: (try.1)
2010-06-04 22:14:16 -- Step.2:
2010-06-04 22:14:20 captcha=bc6910
2010-06-04 22:14:20 -- Step.3:
2010-06-04 22:14:22 -- Step.4:
2010-06-04 22:14:23 waiting 60 sec : Wait your turn 60 seconds
2010-06-04 22:15:23 -- Step.5:
2010-06-04 22:15:24 FAILED: other server?
2010-06-04 22:15:24 -- Step.1: (try.2)
2010-06-04 22:15:36 -- Step.2:
2010-06-04 22:15:38 captcha=bc6910
2010-06-04 22:15:38 -- Step.3:
2010-06-04 22:16:19 -- Step.4:
2010-06-04 22:16:20 waiting 60 sec : Wait your turn 60 seconds
2010-06-04 22:17:20 -- Step.5:
2010-06-04 22:17:21 FAILED: other server?
2010-06-04 22:17:21 -- Step.1: (try.3)
2010-06-04 22:17:22 -- Step.2:
2010-06-04 22:17:24 captcha=bc6910
2010-06-04 22:17:24 -- Step.3:
2010-06-04 22:17:25 -- Step.4:
2010-06-04 22:17:26 waiting 60 sec : Wait your turn 60 seconds
2010-06-04 22:18:26 -- Step.5:
2010-06-04 22:18:30 FAILED: other server?
2010-06-04 22:18:30 -- Step.1: (try.4)
2010-06-04 22:18:32 -- Step.2:
2010-06-04 22:18:34 captcha=bc6910
2010-06-04 22:18:34 -- Step.3:
2010-06-04 22:18:35 -- Step.4:
2010-06-04 22:18:36 waiting 60 sec : Wait your turn 60 seconds
2010-06-04 22:19:36 -- Step.5:
2010-06-04 22:19:37 FAILED: other server?
2010-06-04 22:19:37 -- Step.1: (try.5)
2010-06-04 22:19:40 -- Step.2:
2010-06-04 22:19:53 captcha=bc6910
2010-06-04 22:19:53 -- Step.3:
2010-06-04 22:19:55 -- Step.4:
2010-06-04 22:19:56 waiting 60 sec : Wait your turn 60 seconds
2010-06-04 22:20:56 -- Step.5:
2010-06-04 22:20:57 FAILED: other server?
2010-06-04 22:20:57 FAILED: plugin[letitbit.net] - ERROR
absentkzn
05-06-2010, 18:24
Таки не работает оно для letitbit
Сталкивался с такой же проблемой.
Ранее уже писалось, что проблема связана с постоянно меняющимся внешним айпишником летитбита, попробуйте попинговать letitbit.net и убедиться, айпишник меняется несколько раз в минуту, лечится добавлением в /etc/hosts записи
78.140.160.238 letitbit.net
или любого другого айпишника по вкусу, у меня nslookup выдаёт:
Name: letitbit.net
Address: 78.140.160.237
Name: letitbit.net
Address: 78.140.160.238
Name: letitbit.net
Address: 78.140.160.239
Name: letitbit.net
Address: 78.140.160.235
Name: letitbit.net
Address: 78.140.160.236
Можно не редактировать /etc/hosts, тогда плагин делает несколько повторений попыток скачивания, может повезёт и айпишники хоть раз совпадут, тот который был при запросе ссылки и при попытке скачивания(возможно связано как-то с cookies, не разбирался), и если не повезло, то
FAILED: plugin[letitbit.net] - ERROR выдаётся после пяти попыток, настраивается константой MAX_pTRY=5 в плагине letitbit.net.sh
P.S. Спасибо товарищу Serg0 за наше счастливое детство :)
getikalex
05-06-2010, 21:10
Я не против. Только ведь Serg0 пишет - у него все без проблем работает.
Неужели Letitbit так жестко только украинские IP душит ?
Вроде никто особо не жалуется...
Я еще надеюсь, что где-то бага найдется или у меня, или в скрипте.
Тупо угадывать IP и тыкать на удачу 5 раз (или 55 раз) - может и можно, но как-то не видится правильным решением... Хотя, если ничего другого не будет - буду пробовать. Но учытывая, что пробовал минимум раза три (каждый раз по пять) - и каждый раз не получалось... По теории вероятности из пятнадцати попыток попасть в свой сервер из пяти имеющихся - должен был.
Таки не работает оно для letitbit
вот отладочный вариант плагина letitbit.net[04.06.2010], нужно снова собрать логи и файлы step*.html
Похоже что на letitbit опять поменяли странички.
getikalex
09-06-2010, 17:52
Попробовал новый отладочный скрипт.
никаких step - файлов не появилось.
на экране имеем:
# ./dlq-stop.sh
dlq.sh is not started
# ./dlq.sh
2010-06-09 19:48:55 ================================================== ==============================
2010-06-09 19:48:55 REMOVED
2010-06-09 19:48:55 get direct url from [letitbit.net]...
2010-06-09 19:48:55 -- Step.1: (try.1)
2010-06-09 19:48:56 FAILED: URL2 not found
2010-06-09 19:48:56 FAILED: plugin[letitbit.net] - ERROR
2010-06-09 19:48:57 -=END=-
# ./dlq.sh
2010-06-09 19:49:17 -=END=-
# 2010-06-09 19:48:55 ================================================== ==============================
/bin/sh: 2010-06-09: not found
# 2010-06-09 19:48:55 REMOVED
/bin/sh: 2010-06-09: not found
# 2010-06-09 19:48:55 get direct url from [letitbit.net]...
/bin/sh: 2010-06-09: not found
# 2010-06-09 19:48:55 -- Step.1: (try.1)
/bin/sh: syntax error: unexpected "("
# 2010-06-09 19:48:56 FAILED: URL2 not found
/bin/sh: 2010-06-09: not found
# 2010-06-09 19:48:56 FAILED: plugin[letitbit.net] - ERROR
/bin/sh: 2010-06-09: not found
# 2010-06-09 19:48:57 -=END=-
/bin/sh: 2010-06-09: not found
лог-файл прикрепил.
ИМХО - жуть.
getikalex,
На сайте letitbit пару дней назад сделали изменения, поэтому плагин от 04.06.2010 - работать не будет, отладочный вариант тоже.
Скоро выложу новую версию, и сделаю для неё отладочный вариант.
Подготовил новую версию плагина для файлообменника letitbit.net
Она не совсем законченная - начал делать скачивание по паролю, но не успел, т.к. кончился срок действия пароля.
В режиме "Бесплатно" вроде бы работает нормально.
После того как доделаю обработку пароля, плагин будет обновлён.
Автору большое человеческое СПАСИБО !!!
getikalex
11-06-2010, 17:07
Ай маладца !!!
Хоть не сразу, но таки хватило сцилко !
2010-06-11 19:02:14 ================================================== ==============================
2010-06-11 19:02:14 REMOVED
2010-06-11 19:02:14 get direct url from [letitbit.net]...
2010-06-11 19:02:15 -- Step.1: (try.1)
2010-06-11 19:02:20 -- Step.2:
2010-06-11 19:02:24 captcha=1f9036
2010-06-11 19:02:25 -- Step.3:
2010-06-11 19:02:26 -- Step.4:
2010-06-11 19:02:26 waiting 60 sec : Wait your turn 60 seconds
2010-06-11 19:03:26 -- Step.5:
2010-06-11 19:03:28 FAILED: other server?
2010-06-11 19:03:28 -- Step.1: (try.2)
2010-06-11 19:03:31 -- Step.2:
2010-06-11 19:03:34 captcha=1f9036
2010-06-11 19:03:34 -- Step.3:
2010-06-11 19:03:35 -- Step.4:
2010-06-11 19:03:37 waiting 60 sec : Wait your turn 60 seconds
2010-06-11 19:04:37 -- Step.5:
2010-06-11 19:04:38 FAILED: other server?
2010-06-11 19:04:38 -- Step.1: (try.3)
2010-06-11 19:04:40 -- Step.2:
2010-06-11 19:04:43 captcha=1f9036
2010-06-11 19:04:43 -- Step.3:
2010-06-11 19:04:44 -- Step.4:
2010-06-11 19:04:44 waiting 60 sec : Wait your turn 60 seconds
2010-06-11 19:05:45 -- Step.5:
2010-06-11 19:05:45 FAILED: other server?
2010-06-11 19:05:45 -- Step.1: (try.4)
2010-06-11 19:05:47 -- Step.2:
2010-06-11 19:05:50 captcha=1f9036
2010-06-11 19:05:50 -- Step.3:
2010-06-11 19:05:51 -- Step.4:
2010-06-11 19:05:52 waiting 60 sec : Wait your turn 60 seconds
2010-06-11 19:06:52 -- Step.5:
2010-06-11 19:06:52 get direct url from [letitbit.net] - OK
2010-06-11 19:06:52 url=REMOVED
2010-06-11 19:06:52 downloading...
БОЛЬШОЙ Thanx !!!
Хоть не сразу, но таки хватило сцилко !
Всё равно что-то не нормально...
Если период обновления ip-адреса сервера letitbit.net равен 5 минут, то ошибка "FAILED: other server?" должна появляться только один раз, следующая попытка должна проходить нормально. У меня именно так и происходит.
А вот когда я отлаживал плагин для украинских ip-адресов, то настраивал себе украинский прокси-сервер для программы wget, тогда у меня тоже сплошняком повалили сообщения "FAILED: other server?", и только иногда удавалось скачать файл. Я списал это на особенности работы прокси-сервера, т.к. неизвестно как он обновляет dns-записи.
Наверное я ещё раз подготовлю отладочный вариант плагина, там будет видно какие ip-адреса сервера используются.
Отладочный вариант плагина letitbit.net(2010-06-09) для getikalex
getikalex
17-06-2010, 20:27
Ну чтож, пробую.
На экране все просто до безобразия
# ./dlq-stop.sh
killing dlq.sh (159)...
killing sleep (162)...
# ./dlq.sh
2010-06-17 22:21:20 ================================================== ==============================
2010-06-17 22:21:20 REMOVED
2010-06-17 22:21:20 get direct url from [letitbit.net]...
2010-06-17 22:21:20 -- Step.1: (try.1)
2010-06-17 22:21:22 -- Step.2:
2010-06-17 22:21:23 captcha=ac92aa
2010-06-17 22:21:23 -- Step.3:
2010-06-17 22:21:24 FAILED: wget.error=8
2010-06-17 22:21:24 FAILED: plugin[letitbit.net] - ERROR
2010-06-17 22:21:24 -=END=-
steps (два файлика) - в приложении
log файл - там же
getikalex,
Посмотрел лог, вот вырезки из него:
2010-06-17 22:21:20 -- Step.1: (try.1)
Connecting to letitbit.net|78.140.160.239|:80... connected.
200 OK
2010-06-17 22:21:22 -- Step.2:
Connecting to letitbit.net|78.140.160.238|:80... connected.
200 OK
2010-06-17 22:21:23 -- Step.3:
Connecting to letitbit.net|78.140.160.236|:80... connected.
404 Not Found
2010-06-17 22:21:24 FAILED: wget.error=8
На каждом шаге для имени letitbit.net определяется различный ip-адрес, и это происходит через 1-2 секунды.
Соответственно происходят обращения к различным серверам letitbit.net, из-за чего и возникает ошибка.
По-видимому используется устройство не типа ASUS WL500, или какая-то другая прошивка (чем у меня), т.к. резольвер dns-имён работает по-другому.
Вижу только одно решение - статически прописать ip-адрес для имени letitbit.net в файле /etc/hosts :
78.140.160.237 letitbit.net
можно использовать любой из ip-адресов:
78.140.160.235
78.140.160.236
78.140.160.237
78.140.160.238
78.140.160.239
getikalex
18-06-2010, 09:13
По-видимому используется устройство не типа ASUS WL500, или какая-то другая прошивка Юзаю ASUS WL500 W, прошивка январская от энтузиастов.
А относительно ip-адрес для имени letitbit.net в файле /etc/hosts - будем пробовать.
getikalex
20-06-2010, 19:44
при попытке редактирования /etc/hosts (или /tmp/etc/hosts) он редактируется, но впоследствии не сохраняется
flashfs save && flashfs commit && flashfs enable && reboot
не помогает...
надо редактировать /usr/local/etc/hosts и в него записать строчку
78.140.160.237 letitbit.net
которая потом при запуске дописывается в /etc/hosts
(к-стати его по умолчанию нет, и пришлось создать)
Так что в /etc/hosts я строчку таки добавил.
Но проблему это не решает...
2010-06-20 22:29:26 ================================================== ==============================
2010-06-20 22:29:26 REMOVED
2010-06-20 22:29:26 get direct url from [letitbit.net]...
2010-06-20 22:29:26 -- Step.1: (try.1)
2010-06-20 22:29:27 -- Step.2:
2010-06-20 22:29:29 captcha=2df046
2010-06-20 22:29:29 -- Step.3:
2010-06-20 22:29:29 FAILED: wget.error=8
2010-06-20 22:29:29 FAILED: plugin[letitbit.net] - ERROR
Так что в /etc/hosts я строчку таки добавил.
Но проблему это не решает...
Нужен отладочный лог (можно без step-файлов).
У кого-нибудь ещё, есть проблема со скачиванием с letitbit.net, аналогичная как у getikalex ?
getikalex
21-06-2010, 19:11
Вот лог при том, что в /etc/hosts строчку добавил
PS. Хочу добавить, что проблема только в letitbit. Например deposit качает нормально.
У меня похожая проблема с плагином letitbit для download engine 2.0.
Step 3 пишет wget.error=8
C остальными плагинами все ОК.
Да , плагин на letitbit где-то с неделю не работает.
2010-06-19 11:38:45 ================================================== ==============================
2010-06-19 11:38:45 REMOVED
2010-06-19 11:38:45 get direct url from [letitbit.net]...
2010-06-19 11:38:45 -- Step.1: (try.1)
2010-06-19 11:38:47 -- Step.1b:
2010-06-19 11:38:49 -- Step.2:
2010-06-19 11:38:51 captcha=f6cd14
2010-06-19 11:38:51 -- Step.3:
2010-06-19 11:38:52 FAILED: wget.error=8
2010-06-19 11:38:52 FAILED: plugin[letitbit.net] - ERROR
2010-06-19 11:38:52 ================================================== ==============================
2010-06-19 11:38:53 REMOVED
2010-06-19 11:38:53 get direct url from [letitbit.net]...
2010-06-19 11:38:53 -- Step.1: (try.1)
2010-06-19 11:38:55 -- Step.1b:
2010-06-19 11:38:56 -- Step.2:
2010-06-19 11:38:59 captcha=90f08d
2010-06-19 11:38:59 -- Step.3:
2010-06-19 11:39:00 FAILED: wget.error=8
2010-06-19 11:39:00 FAILED: plugin[letitbit.net] - ERROR
2010-06-19 11:39:00 ================================================== ==============================
2010-06-19 11:39:00 REMOVED
2010-06-19 11:39:00 get direct url from [letitbit.net]...
2010-06-19 11:39:00 -- Step.1: (try.1)
2010-06-19 11:39:02 -- Step.1b:
2010-06-19 11:39:04 -- Step.2:
2010-06-19 11:39:08 captcha=72d6de
2010-06-19 11:39:08 -- Step.3:
2010-06-19 11:39:09 FAILED: wget.error=8
2010-06-19 11:39:09 FAILED: plugin[letitbit.net] - ERROR
2010-06-19 11:39:09 ================================================== ==============================
в /etc/host адрес указан .
getikalex, на сервере letitbit снова были изменения, поэтому и не сработало.
Сейчас подготовлю новую версию, думаю что совместно с добавлением записи в /etc/hosts заработает нормально.
новая версия плагина для файлообменника letitbit.net
Напомню:
Плагин letitbit.net должен работать нормально и без добавления записи в файл /etc/hosts.
Но если не работает, тогда можно попробовать добавить запись в файл /etc/hosts, например когда сплошняком валятся сообщения "FAILED: other server?".
Причём изменение файла /etc/hosts у меня сказывается сразу же, т.е. чтобы проверить, не нужно прописывать какие-либо изменения в автозагрузку, достаточно изменить файл и попробовать что-нибудь скачать - результат должен быть виден сразу. После перезагрузки, файл /etc/hosts восстановится прежний.
getikalex
23-06-2010, 20:08
Дружище Serg0, типа работает !
2010-06-23 21:59:22 ================================================== ==============================
2010-06-23 21:59:23 REMOVED
2010-06-23 21:59:23 get direct url from [letitbit.net]...
2010-06-23 21:59:23 -- Step.1: (try.1)
2010-06-23 21:59:24 -- Step.2:
2010-06-23 21:59:25 captcha=14efb9
2010-06-23 21:59:25 -- Step.3:
2010-06-23 21:59:26 -- Step.4:
2010-06-23 21:59:26 waiting 60 sec : Wait your turn 60 seconds
2010-06-23 22:00:26 -- Step.5:
2010-06-23 22:00:26 get direct url from [letitbit.net] - OK
2010-06-23 22:00:26 url=REMOVED
2010-06-23 22:00:26 downloading...
2010-06-23 22:12:56 -=OK=-
Кинь в личку WMID, WMZ WMR, номер карточки приватбанка - с меня пиво чисто по-людски. Много не потяну, но за старания-обещаю. Труд умняг уважаю.
dryupitz
26-06-2010, 08:29
У меня рапидшара перестала работать. :( Причем буквально сегодня утром.
2010-06-26 08:01:16 ================================================== ==============================
2010-06-26 08:01:16 REMOVED
2010-06-26 08:01:16 get direct url from [rapidshare.com]...
2010-06-26 08:01:16 -- Step.1:
2010-06-26 08:01:16 FAILED: wget.error=4
2010-06-26 08:01:16 FAILED: plugin[rapidshare.com] - ERROR
getikalex
26-06-2010, 10:06
А у меня ваша ссылка идет
2010-06-26 11:55:37 ================================================== ==============================
2010-06-26 11:55:37 REMOVED
2010-06-26 11:55:37 get direct url from [rapidshare.com]...
2010-06-26 11:55:37 -- Step.1:
2010-06-26 11:55:40 url2=REMOVED
2010-06-26 11:55:40 -- Step.2:
2010-06-26 11:55:43 waiting 77 sec : Still 77 seconds
2010-06-26 11:57:00 get direct url from [rapidshare.com] - OK
2010-06-26 11:57:00 url=REMOVED
2010-06-26 11:57:00 downloading...
dryupitz
06-07-2010, 22:35
Все, разобрался, сам виноват был - у нас была чехарда с подключением второго интернет канала и я не прописал правильные DNS. И плагин для letitbit тоже работает отлично.
...пропала скачка с lettibit
Здесь тоже нужно проверить версию плагина letitbit.net
Версию можно посмотреть в первых строчках файла letitbit.net.sh, должна быть версия от 23.06.2010:
# plugin: get direct link from http://letitbit.net
# by Serg0 [23.06.2010]
Здесь тоже нужно проверить версию плагина letitbit.net
[/CODE]
спасибо большое исправил версию! если возможно подскажите почему не распознаёт капчу
20:38:19 REMOVED
2010-07-28 20:38:19 get direct url from [letitbit.net]...
2010-07-28 20:38:20 -- Step.1: (try.1)
2010-07-28 20:38:21 -- Step.1b:
2010-07-28 20:38:22 -- Step.2:
2010-07-28 20:38:25 FAILED: CAPTCHA is NOT RECOGNIZED
2010-07-28 20:38:25 FAILED: plugin[letitbit.net] - ERROR
2010-07-28 20:38:25 -=END
почему не распознаёт капчу
2010-07-28 20:38:25 FAILED: CAPTCHA is NOT RECOGNIZED
Пока непонятно из-за чего это проблема. Надо смотреть подробнее.
Вот отладочный вариант скрипта распознания капчи, нужно:
- подключиться к роутеру через telnet или ssh
- перейти в каталог программы dlq
- остановить скрипт dlq, если он был запущен: ./dlq-stop.sh
- заменить существующий файл letitbit.net.captcha.sh на отладочный вариант
- записать в файл-очередь какую-нибудь ссылку на летитбит
- запустить скрипт: ./dlq.sh
- по окончании работы выложить сюда лог (лучше с экрана telnet-сессии, здесь могут быть дополнительные сообщения об ошибках), и файлы dlq.temp.* из текущего каталога (потом это файлы можно удалить)
Letitbit опять не работает :
2010-07-30 16:31:25 get direct url from [letitbit.net]...
2010-07-30 16:31:25 -- Step.1: (try.1)
2010-07-30 16:31:28 -- Step.1b:
2010-07-30 16:31:29 -- Step.2:
2010-07-30 16:31:32 captcha=c9aa83
2010-07-30 16:31:32 -- Step.3:
2010-07-30 16:31:33 -- Step.4:
2010-07-30 16:31:34 waiting 60 sec : Wait your turn 60 seconds
2010-07-30 16:32:34 -- Step.5:
2010-07-30 16:32:35 FAILED: other server?
2010-07-30 16:32:35 -- Step.1: (try.2)
2010-07-30 16:32:37 -- Step.1b:
2010-07-30 16:32:39 -- Step.2:
2010-07-30 16:32:41 captcha=c9aa83
2010-07-30 16:32:42 -- Step.3:
2010-07-30 16:32:43 -- Step.4:
2010-07-30 16:32:43 waiting 60 sec : Wait your turn 60 seconds
2010-07-30 16:33:44 -- Step.5:
2010-07-30 16:33:45 FAILED: other server?
2010-07-30 16:33:45 -- Step.1: (try.3)
2010-07-30 16:33:47 -- Step.1b:
2010-07-30 16:33:49 -- Step.2:
2010-07-30 16:33:51 captcha=c9aa83
2010-07-30 16:33:51 -- Step.3:
2010-07-30 16:33:52 -- Step.4:
2010-07-30 16:33:53 waiting 60 sec : Wait your turn 60 seconds
2010-07-30 16:34:53 -- Step.5:
2010-07-30 16:34:54 FAILED: other server?
2010-07-30 16:34:54 -- Step.1: (try.4)
2010-07-30 16:34:57 -- Step.1b:
2010-07-30 16:34:58 -- Step.2:
2010-07-30 16:35:01 captcha=c9aa83
2010-07-30 16:35:01 -- Step.3:
2010-07-30 16:35:02 -- Step.4:
2010-07-30 16:35:03 waiting 60 sec : Wait your turn 60 seconds
2010-07-30 16:36:03 -- Step.5:
2010-07-30 16:36:04 FAILED: other server?
2010-07-30 16:36:04 -- Step.1: (try.5)
2010-07-30 16:36:06 -- Step.1b:
2010-07-30 16:36:08 -- Step.2:
2010-07-30 16:36:10 captcha=c9aa83
2010-07-30 16:36:10 -- Step.3:
2010-07-30 16:36:12 -- Step.4:
2010-07-30 16:36:12 waiting 60 sec : Wait your turn 60 seconds
2010-07-30 16:37:12 -- Step.5:
2010-07-30 16:37:13 FAILED: other server?
2010-07-30 16:37:13 FAILED: plugin[letitbit.net] - ERROR
Да, что-то на letitbit перестало работать, буду разбираться...
новая версия плагина для файлообменника letitbit.net
- небольшая корректировка из-за изменений на сайте letitbit.net
- сделал возможность скачивания по паролю [SMS/PayPal password]
Чтобы скачивалось с использованием пароля, нужно записать пароль в файл dlq.passwords
Пример файла dlq.passwords:
host login password
----------------------------------
letitbit.net xxxxxx ABCDEF1234567
Большое тебе спасибо !!!:)
новая версия плагина для файлообменника letitbit.net
а для Download Engine 2 будет :)?
Начиная со вчерашнего дня ни с того ни с сего перестал работать скрипт.
Лог такой:
2010-08-08 16:10:51 REMOVED URL
2010-08-08 16:10:51 get direct url from [rapidshare.com]...
2010-08-08 16:10:51 -- Step.1:
dlengine.temp.html: Read-only file system
2010-08-08 16:10:51 FAILED: wget.error=1
2010-08-08 16:10:51 FAILED: plugin[rapidshare.com] - ERROR
В syslog пусто.
Куда рыть?
2010-08-08 16:10:51 get direct url from [rapidshare.com]...
2010-08-08 16:10:51 -- Step.1:
dlengine.temp.html: Read-only file system
2010-08-08 16:10:51 FAILED: wget.error=1
Похоже что установлен плагин от другой программы - "Download Engine" (dlengine), в логе выделено красным.
Нужно установить "свой" плагин - от скрипта dlq.
depositfiles.com.sh dlq.passwords letitbit.net.captcha.sh vip-file.com.sh
dlq-background.sh dlq.sh letitbit.net.sh
dlq-stop.sh hotfile.com.sh rapidshare.com.sh
Вот такие файлы в папке /opt/etc/dlq.
Что-то есть лишнее?
У кого еще так?
2010-08-10 07:43:08 ================================================== ==============================
2010-08-10 07:43:08 REMOVED
2010-08-10 07:43:08 get direct url from [letitbit.net]...
2010-08-10 07:43:08 -- Step.1: (try.1)
2010-08-10 07:43:10 -- Step.1b:
2010-08-10 07:43:12 -- Step.2:
2010-08-10 07:43:13 captcha: djpeg.ERROR
2010-08-10 07:43:13 captcha: djpeg.ERROR
2010-08-10 07:43:14 captcha: djpeg.ERROR
2010-08-10 07:43:14 FAILED: CAPTCHA is NOT RECOGNIZED
2010-08-10 07:43:14 FAILED: plugin[letitbit.net] - ERROR
2010-08-10 07:43:14 ================================================== ==============================
2010-08-10 07:43:14 REMOVED
2010-08-10 07:43:14 get direct url from [letitbit.net]...
2010-08-10 07:43:14 -- Step.1: (try.1)
2010-08-10 07:43:17 -- Step.1b:
2010-08-10 07:43:18 -- Step.2:
2010-08-10 07:43:20 captcha: djpeg.ERROR
2010-08-10 07:43:20 captcha: djpeg.ERROR
2010-08-10 07:43:20 captcha: djpeg.ERROR
2010-08-10 07:43:20 FAILED: CAPTCHA is NOT RECOGNIZED
2010-08-10 07:43:20 FAILED: plugin[letitbit.net] - ERROR
2010-08-10 07:43:20 ================================================== ==============================
У кого еще так?
Та же песня.:mad:
На сервере letitbit.net сделали небольшие изменения, надо подправить плагин...