RapidshareDownloader für WL500gP ?

[wengi]

Ich habe jetzt mal die Lösung von jojo182 installiert.

Das Skript scheint auch zu laufen, hat aber bisher noch nicht runtergeladen (läuft erst 5 Minuten).

Ein Problem habe ich allerdings:
Ich bin zu Faul die ganzen Links (für einen aktuellen DL über 80 Stück) zu kopieren.
Gibt es eine Möglichkeit mit dlc Files zu arbeiten oder die URLS aus einem dlc file zu extrahieren?

wengi

[Mokake]

Während rsdf und ccf container wohl recht leicht ausgelesen werden können, ist dies bei DLC containern nicht so einfach. Du kannst sie zwar im jDownloader öffnen, die Links müssen dann aber leider einzeln kopiert werden..

Nähere Infos hier und hier.

Du könntest dich höchstens an die jDownloader-Entwickler wenden und denen dein Leid klagen..

[thE_29]

Hab mal mit ein paar jDownloader Typen gechatted!

Eine Konsolenanwendung ist in Arbeit/Planung, aber die meinten das wird auf dem Router nicht laufen.
1. brauchens 100MB RAM!
2. greifen sie anscheinend auf ein paar Sun-interne Klassen zu
3. ist das Teil nicht GPL, da eben die DLC Container zeugs gar nicht im Source ist...

Hatte das ganze mal runtergeladen und wollte es kompilieren.. Najo, geht nicht wirklich

[wengi]

Die Lösung von jojo182 läuft prinzipiell.

Ist es normal, dass das DL Script _nicht_ erkennt, dass die Datei schon da ist und deswegen die Datei löscht und erneut runterlädt?

Ist bei mir so.

wengi

[wengi]

Hallo allerseits,

da ich die Lösung von jojo182 im Einsatz habe würde ich diese gerne etwas verbessern.
Da meine Scripting-Fähigkeiten allerdings limitiert sind hoffe ich auf Eure Hilfe.
Zunächst habe ich das eigentliche Python Skript von Polnisch ins Englische übersetzt (Google translate, also nicht zu viel erwarten). Siehe Anhang.

Ich würden gerne noch zwei Erweiterungen umsetzen:
1) Wenn Jojo's Skript die 16 Minuten pausiert hätte ich gerne einen Countdown um zu sehen, dass das Skript noch läuft.
2) Im Moment wird beim Einlesen der nächste Zeile nicht überprüft, ob die Datei bereits vorhanden ist. Daher werden bereits vorhandene Dateien gelöscht.

Hierzu habe ich jojos Skript etwas überarbeitet:

#! /bin/sh

pfad=/tmp/harddisk/rapidshare

cd $pfad

while read LINE; do
        local FILE=$(echo $LINE | awk -F/ '{print $NF}')
        if  [ -s $pfad/$FILE ]
        then
                echo $pfad/$FILE exists and is skipped
        else
                echo $pfad/$FILE does not exist. Download:
                /opt/rapiddl/rapiddl.py $LINE -l -t 10 -i 120

                echo "wait 16 minutes for next download"

                local START=$(date +%s)
                local END=$((START + 960))
                local CUR=$START

                while [[ $CUR -lt $END ]]
                do
                        CUR=$(date +%s)
                        LEFT=$((END-CUR))

                        printf "\r%02d:%02d:%02d" \
                                $((LEFT/3600)) $(( (LEFT/60)%60)) $((LEFT%60))

                        sleep 1
                done
                echo "        "

        fi

done < $pfad/rapiddl.txt

- Es kommt der Hinweis auf die 16 Minuten und ein Countdown.
- Wenn eine Datei mit dem Namen bereits existiert und größer 0 Byte ist wird zur Nächsten gesprungen.

WICHTIG: Das Skript muss noch getestet werden! Ich bin selbst noch am testen.

wengi

[jojo182]

Hey Wengi,

vielen Dank für dein Engagement das Skript zu verbessern.

Durch genaueres anschauen des Python Skript sind mir noch ein paar Sachen aufgefallen:
Durch die Optionen -l (loop), -t (tries) und -i (intervall) kann man dem Skript bei einem Fehler anweißen es nochmal zu versuchen.
Bei mir sieht das jetzt so aus:

/opt/rapiddl/rapiddl.py $LINE -l -t 10 -i 120

So versucht das Skript 10 mal mit einer Unterbrechung von 120sec die Datei bei einem Fehler nochmal herunterzuladen.
Das ist ganz nützlich wenn z.B. gerade keine Internet Verbindung besteht oder, in die Abendstunden nicht selten, Rapidshare wegen Überlastung keinen Download zulässt.

Zu Punkt 2: Vergiss bitte nicht das ein Rapidshare Link auch mit .html Enden kann, also z.B.

http://rapidshare.com/files/1234566/datei.part1.rar.html

Viel Erfolg!

[wengi]

So.
Das Skript oben funktioniert jetzt erstmal.
Ich bitte um ausgiebige Tests.

Das mit dem .html am Ende steht auf der ToDo-Liste.

@jojo182
Konntest Du anhand des Python Codes feststellen, ob die Größe der Datei verifiziert wird?

wengi

[wengi]

Hi,
ich habe hier hin und wieder folgenden Fehler:

Download http://rapidshare.com/files/11223456/xxxxxxxx.partyy.rar
  trial 1/10
Traceback (most recent call last):
  File "/opt/rapiddl/rapiddl.py", line 240, in <module>
    url = GetDirectUrl(url)
  File "/opt/rapiddl/rapiddl.py", line 79, in GetDirectUrl
    wait_for_download_time = int(findall("var c=(\d+)", data)[0])
IndexError: list index out of range

Wo sind die Python Experten? Hilfe!!!

Das Problem tritt anscheinend auf wenn RS diese Seite als Antwort bringt:

Fehler
Sie möchten folgende Datei herunterladen:

http://rapidshare.com/files/11223456...xxx.partyy.rar | zzzzzz KB

Leider sind derzeit keine freien Slots für Free-User verfügbar. Um den Premium-User weiterhin unseren Service zu bieten, müssen Sie 2 Minuten warten. Danach wird erneut geprüft, ob Sie auf die Datei zugreifen können. Wenn Sie nicht so lange warten möchten, werden Sie Premium-Mitglied

Bitte beachten Sie, dass dieser Server innerhalb der nächsten 2 Minuten nicht mehr prüfen wird, ob Rechnerkapazität für den Download zur Verfügung steht. Der Fairness halber bekommen alle dieselben Chancen.

wengi

[jojo182]

Ich denke das Problem liegt daran das das Pyhton Skript mit der rapidshare Fehlermeldung nichts anfangen kann und deshalb trotzdem versucht die Datei zu laden. Ein Grund dafür könnte sein das das Skript nach den englischen Kommentaren sucht, du aber eine deutsche Ausgabe bekommst. Ein Beispiel aus Zeile 74:

elif data.find('You have reached the download-limit for free-users. Would you like more?') > -1:

Im Prinzip sollte es reichen dort einen Text von der deutschen Fehlerseite einzutragen. Müsste man mal testen.

Bzw vielleicht weiß ich nicht ob rapidshare Anhand der IP oder Anhand der Browsersprache entscheidet welche Sprache dargestellt wird...

...ok, nach umstellen der Sprache im Firefox ist auch rapidshare auf Englisch. Trotzdem denke ich das in dem Skript kein Methode zum abfangen für die Fehlermeldung gibt bzw falsch ist.
Stell bitte mal deinen Browser auch auf Englisch und versuch beim nächsten mal die Fehlermeldung auf Englisch zu bekommen.

[wengi]

Das mit dem Browser umstellen hatte ich gleich probiert.
Allerdings hat es bis eben gedauert, bis ich die Meldung wieder bekam:

Error
You want to download the following file:

http://rapidshare.com/files/11223456...xxx.partyy.rar
| zzzzzz KB

We regret that currently we have no available slots for free users. Unfortunately you will have to wait 2 minutes, this will allow us to continue to provide our service to our Premium users. Afterwards it will be checked again if you can access the file. If you do not want to wait that long, become Premium member

Please note, the server is not going to check again within the next 2 minutes if downloading is possible again. To provide a fair platform, all user get the same options.

Da rapidshare wohl gerade einiges umgestellt hat wird das Skript, wie Du schon vermutest,nichts mit der Meldung anfangen können.

Am sinnvollsten wäre es wohl eine Methode zu implementieren, die alle unbekannten Fehlermeldungen abgreift und einfach weitere 16 Minuten wartet.

Und dann sind wir wieder an dem Punkt: Wo sind die Python-Entwickler?

wengi

EDIT:
Trotz Fehler im .py Skript läuft unser wrapper weiter und lädt den Rest.
Man muss das ganze also nur ein zweites mal starten, wenn noch eine oder mehrere Dateien fehlen.

[jojo182]

Am sinnvollsten wäre es wohl eine Methode zu implementieren, die alle unbekannten Fehlermeldungen abgreift und einfach weitere 16 Minuten wartet.

Da hätt ich jetzt doch ne Übergangslösung:
Zeile 72:

if data.find('is already downloading a file') > -1:

ändern in

if data.find('Error') > -1:

Zeile 114 bzw 115:

if count == 0.0 and data.find('is already downloading a file') > -1:

ändern in:

if count == 0.0 and data.find('Error') > -1:

Damit sollten alle Fehler abgefangen werden und durch die Optionen -l -t 10 -i 120 wird es ja alle paar Min erneut versucht.

[wengi]

Hallo allerseits,

nach einigen Tagen und Dateien des Testens bin ich leider noch nicht 100%ig zufrieden mit der Lösung.
Allerdings ist das Python Skript, das hin und wieder hängen bleibt und 100% CPU Last erzeugt. Wenn das der Fall ist steht das Skript immer bei den 50 Sekunden Wartezeit.

Kann jemand dieses Verhalten bestätigen oder bin ich der Einzige, der das Skript einsetzt?

@jojo182
ich habe Deine Änderung (Error) nicht umgesetzt, da das zu Problemen führt sobald im Dateinamen "error" auftaucht.
Bis jetzt ist dieser Fehler aber nicht sehr häufig aufgetreten.

wengi

[smiith]

hallo..

also ich versuche jetzt schon ne zeit .. den lsd downloader auf der box zum laufen zu bekommen...

ich hab jetzt alle benötigten pakete installiert .. und das programm läuft auch schon..

nur jedes mal wenn ich das programm mit :

bash /opt/lsd/bin/lsd -f <URL>

aufrufe..

kommt diese Fehlermeldung :

/opt/lsd/bin/lsd: /opt/lsd/plugins/rapidsharecom.sh: /bin/bash: bad interpreter: No such file or directory

irgendwie findet der die bash nicht.. obwohl ich diese installiert hab..

kenn mich in linux noch nicht ganz so aus.. hat irgendwer ne ahnung ?

hier nochmal der link zum programm ..

http://board.gulli.com/thread/130269...mium-funktion/

wär schon cool wenn das laufen würde

mfg

[jojo182]

@jojo182
ich habe Deine Änderung (Error) nicht umgesetzt, da das zu Problemen führt sobald im Dateinamen "error" auftaucht.
Bis jetzt ist dieser Fehler aber nicht sehr häufig aufgetreten.

Ok, hast recht. Hab jetzt statt "Error" "<h1>Error</h1>" genommen.

@smiith: Ich denke das Problem ist das bash bei dir nicht unter /bin/bash sondern unter /opt/bin/bash zu finden ist. Du musst das Skript anpassen.

[wengi]

Moin,

@smiith
jojo hat Recht. Die erste Zeile von lsd muss angepasst werden: /opt/bin/bash.
Bin auch gerade am Testen.
EDIT:
Die Plugins müssen auch angepasst werden.
Dennoch bekomme ich noch einige Fehler. Mal sehen...
EDIT2:
Anscheinend habe ich lsd jetzt am laufen.
Ich teste noch.

@jojo
Auf "<h1>Error</h1>" hätte ich auch selbst kommen können.
Es sind die einfachen Dinge im Leben ;-)

Danke
wengi