Junior Member
Товарищи, подскажите, пожалуйста, чем помочь такому вот горю:
Стоит rsnapshot, бэкапит две линуксовые машины на подключённый к роутеру полуторатерабайтник (на винте только 70-метровый swap и большой EXT3-раздел для всего остального). Всё работает, всё чудесно, одна беда: операции с большим количеством мелких файлов занимают какое-то совсем уж дикое время. Например, на бэкап одной директории ~/.gconf/ (там 16 с лишним тысяч файликов общим объёмом порядка 25 MB) уходит минут двадцать; на директорию из 35 тысяч файлов общим объёмом около 40 МБ уходит почти час. Даже банальный rm -rf одного сеанса бэкапа (который происходит в начале каждого очередного сеанса) занимает не менее получаса…
Имеет ли смысл что-то где-то поднастроить, или остаётся только смириться?
Junior Member
rss, большой спасиб, затмение нашлоOriginally Posted by rss
НО
Оказалось, что дело не в этом
Вот такой тест
Даю команду с компа
rsync rsync://ftp.halifax.rwth-aachen.de/opensuse/update/12.1/
Должна показать список каталогов, но висит - не шевелится.
Поключаю мудем напрямую к компу - все работает.
RT-N16, прошивка 1.9.2.7-rtn-r4051
Не поможете?
Forum Guru
rsync с другими ресурсами работает? Файлы с http://mirror.yandex.ru/opensuse/update/ забрать не проще?
В dmesg какие-нибудь сообщения появляются? Мыслей относительно того, что происходит, у меня нет. Посмотреть негде.
* Wiki *
Junior Member
С яндексом сработал. Но это все равно не выход, мне синхриться надо не только с яндексом и галифаксом. Распределенные проекты.
На галифаксе, где виснет, в dmesg пусто и на компе и на рутете.
Еще одна проблема - openvpn с компа.
мелкими редкими пакетами в туннеле - виснет. Как даешь в туннеле непрерывный траффик 3 - 4 кбайт/с - виснйть почти перестает.
Везде в логах тихо.
Опять же, модем напрямую в комп - все нормально
Upd 1
При этом стащить по туннелю файл в 12 метров - не проблема
Upd 2
Причем на этой же прошивке по WIMAX все работало нормально до 10.05
Last edited by wig; 29-05-2012 at 11:38.
Member
Смотрим начало MAN/help rsync :
и видим что запускаете команду доступа с помощью демонаCode:Access via remote shell: Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST:DEST Access via rsync daemon: Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DEST rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
(rsync rsync://ftp.halifax.rwth-aachen.de/opensuse/update/12.1/).
Вопросы:
1) через какой порт идет работа с демоном rsync на компе и роутере?
2) проверьте проброшен ли этот порт на компе и роутере?
Похоже на роутере не проброшен порт для rsync daemon
Last edited by vdk; 30-05-2012 at 17:37. Reason: overquoting
WL500W+WD500G(samba3,cron,rsync,ssh), 2009-2010
DIR-320+SWC-U200: Yota и WiMAX Comstar, 2010-2011
{WL500W, DIR-320}+Yota LTE LU150
Junior Member
Не уловил вопроса. Демон запущен на удаленном сервере и я хожу через него, смонтировать себе на комп удаленный каталог не получится У рутера наружу открыто вообще все.
С яндексом все заработало нормально, причепм со скоростью под 18 мбит/с, а с ftp.halifax.rwth-aachen.de - не заработало, хотя при wimax работало без проблем
На всякий случай выдача iptables -L
В общем, похоже, что какая то фигня с rndisCode:[admin@WL-20CF30CE0258 root]$ iptables -L Chain INPUT (policy ACCEPT) target prot opt source destination DROP all -- anywhere anywhere ctstate INVALID ACCEPT all -- anywhere anywhere ctstate RELATED,ESTABLISHED ACCEPT all -- anywhere anywhere ctstate NEW ACCEPT all -- anywhere anywhere ctstate NEW ACCEPT udp -- anywhere anywhere udp spt:bootps dpt:bootpc ACCEPT tcp -- anywhere anywhere tcp dpt:ftp flags:FIN,SYN,RST,ACK/SYN DROP all -- anywhere anywhere Chain FORWARD (policy ACCEPT) target prot opt source destination ACCEPT all -- anywhere anywhere DROP all -- anywhere anywhere ctstate INVALID ACCEPT all -- anywhere anywhere ctstate RELATED,ESTABLISHED DROP all -- anywhere anywhere ACCEPT all -- anywhere anywhere ctstate DNAT DROP all -- anywhere anywhere Chain OUTPUT (policy ACCEPT) target prot opt source destination Chain BRUTE (0 references) target prot opt source destination Chain MACS (0 references) target prot opt source destination Chain SECURITY (0 references) target prot opt source destination RETURN tcp -- anywhere anywhere tcp flags:FIN,SYN,RST,ACK/SYN limit: avg 1/sec burst 5 RETURN tcp -- anywhere anywhere tcp flags:FIN,SYN,RST,ACK/RST limit: avg 1/sec burst 5 RETURN udp -- anywhere anywhere limit: avg 5/sec burst 5 RETURN icmp -- anywhere anywhere limit: avg 5/sec burst 5 DROP all -- anywhere anywhere Chain UPNP (0 references) target prot opt source destination Chain logaccept (0 references) target prot opt source destination LOG all -- anywhere anywhere ctstate NEW LOG level warning tcp-sequence tcp-options ip-options macdecode prefix `ACCEPT ' ACCEPT all -- anywhere anywhere Chain logdrop (0 references) target prot opt source destination LOG all -- anywhere anywhere ctstate NEW LOG level warning tcp-sequence tcp-options ip-options macdecode prefix `DROP ' DROP all -- anywhere anywhere [admin@WL-20CF30CE0258 root]$
Ну потому, что через madwimax это все работало без проблем (та же rtn-r4051), а через rndis - не хочет.
Получается, что если идет разреженный траффик - все виснет. Если по-плотнее дышит.
Примеры
- openvpn: если пустить небольшой постоянный траффих в туннелле - все работает
- rsync с яндексовским сервером без проблем, с немецким - вообще не хочет работать
- ну и торрент с компа еле живет.
Про торрент наврал, он и навпрямую еле живет Но все оставльное верно
Last edited by Omega; 29-05-2012 at 21:09. Reason: насчет торрентов и остального жалуйтесь в ёту :) и не нужно плодить 3 новые поста подряд, просто дополняйте к старому ;)
Junior Member
День добрый, OmegaLast edited by Omega; Сегодня at 00:09. Причина: насчет торрентов и остального жалуйтесь в ёту
Я про "все остальное"
Оно (openvpn и rsync, а на некоторых сайтах, xp-dev.com, например, и svn) работает, если модем воткнуть в компутер напрямую. И не работает, если модем воткнуть в RT-N16 с прошивкой r4051 Йота, как понимаете, и в том и дргоум случае одна и та же.
Значит дело не в ней.
Более того, все нормально работало на ваймаксе, значит дело в Ether over USB
Я только об этом.
Member
Если с яндексом работает а с немецким сервером нет, то что-то не то с последним либо с ним и вашим узлом.
Покажите вывод команд netstat -ano и netstat -an
во время сеансов связи с яндексом и немецким сервером
при работе через роутер и комп.
Обновите прошивку на более свежую.В общем, похоже, что какая то фигня с rndis
Ну потому, что через madwimax это все работало без проблем (та же rtn-r4051), а через rndis - не хочет.
Получается, что если идет разреженный траффик - все виснет. Если по-плотнее дышит.
Примеры
- openvpn: если пустить небольшой постоянный траффих в туннелле - все работает
- rsync с яндексовским сервером без проблем, с немецким - вообще не хочет работать
Возможно проблемы из-за NAT в ётовском LU150,
но тогда непонятно почему работает с яндексом?!
Ещё бы неплохо взглянуть/сравнить список модулей rsync daemon, как-то так:
Так как сейчас у меня нет под рукой rsync-а ни на роутереFinally, you can list all the (listable) modules available from a particular rsync daemon by leaving off the module name:
rsync somehost.mydomain.com::
ни работающего компа c unix/linux+rsync, то могу только посоветовать обратиться к первоисточнику и внимательно
читать:
rsyncd.conf man page
http://rsync.samba.org/ftp/rsync/rsyncd.conf.html
rsync man page
http://rsync.samba.org/ftp/rsync/rsync.html
FAQ (например по работе через firewall)
http://rsync.samba.org/firewall.html
WL500W+WD500G(samba3,cron,rsync,ssh), 2009-2010
DIR-320+SWC-U200: Yota и WiMAX Comstar, 2010-2011
{WL500W, DIR-320}+Yota LTE LU150
Junior Member
rsync запускаю на компе, а не на рутере. Не демоном, а просто командой.
Статистику показать с рутера?
Cтавил r4202, работает 10-20 минут, после чего йота отваливается совсем, БС-ка сильно загруженаОбновите прошивку на более свежую.
Возможно проблемы из-за NAT в ётовском LU150,
но тогда непонятно почему работает с яндексом?!
Ещё бы неплохо взглянуть/сравнить список модулей rsync daemon, как-то так:
Вечером попробую последнюю, r4287, скажусь
На компе, где запускаю rsync, демон не запущен.
Можно еще проще. Выбрать какой нить svn сервер с долгим откликом на ping, например тот же xp-dev.com (по 100 мбитному проводному инету дает 70 мс), завести на нем svn проект (там фришно до 200 мб) и попробывать синхронизовать несколько файлов по 5-10 мегов. Желательно, чтобы БС-ка была загружена.Так как сейчас у меня нет под рукой rsync-а ни на роутере
ни работающего компа c unix/linux+rsync,
С мудемом напрямую в комп - работает, хоть и медленно. Модем перетыкаю в рутер и с того же компа пытаюсь синхронизоваться (svn up, svn ci ) - все висит.
UPD
Вот более простой и точный тест
Вот это - работает
svn ls http://xp-dev.com/svn/<имя проекта></каталог проекта, если есть>
А вот это - нет
svn info http://xp-dev.com/svn/<имя проекта></каталог проекта, если есть>
А если модем напрямую в комп - все работает.
Last edited by wig; 30-05-2012 at 17:37.
Senior Member
Вообще-то у человека rsync коннектится к демону, запущенному на яндексе или у немцев. Так что отсылка к rsyncd.conf несколько мимо
"Access via rsync daemon" означает, что на сервере яндекса (или немцев) запущен rsync как демон на 873 порту, а не с использованием промежуточного ssh-соединения (без демона на сервере). Запускать rsync в режиме демона на клиентском компьютере не требуется.
Тут действительно надо будет брать tcpdump в руки и смотреть, что не хватает.
Junior Member
Если я правильно понял, его надо толкануть на рутере.
С какими ключами?
Member
Тем не более интересен вывод команд netstat -ano
1) с компа во время сеанса связи с немецким сервером, когда
модем подключен к компу и хоть медленно, но работает;
2) модем подключен к роутеру и не работает:
2.1) с компа при работе через роутер;
2.2) и с роутера в это же время.
Может быть из-за сильной загруженности БС.... БС-ка сильно загружена ....
А если модем напрямую в комп - все работает.не работает.
Кстати что за ОС стоит на компе?
В порядке бреда- при работе через роутер получается что сеанс идет через несколько firewall-oв: 1 - на компе(если есть), 2 - на роутере и 3 - возможно в самом модеме Yota LTE LU150, поэтому неплохо бы посмотреть что происходит с пробросом порта 873/tcp.
WL500W+WD500G(samba3,cron,rsync,ssh), 2009-2010
DIR-320+SWC-U200: Yota и WiMAX Comstar, 2010-2011
{WL500W, DIR-320}+Yota LTE LU150
rsnapshot (Entware)
Пакет rsnapshot добавлен в репозиторий Entware.
Что это такое, и как можно использовать в этой теме давным давно рассказал Aramaki.
Так что я опишу только моменты специфичные для Entware или новые.
Установка теперь идет одной командой:
rsync, perl (с необходимыми модулями), полные версии утилит cp, rm и du установятся автоматически.Code:$ opkg install rsnapshot
Пакет поставляется в комплекте с рабочим конфигом. Настройки собственно бекапа (в качестве примера, замените на свои):
"<->" означает символ табуляции (пробелы в конфиге rsnapshot не воспринимает)Code:snapshot_root<->/opt/tmp/backups ... # ROUTER_STATE backup<->/opt/etc/<->router_state/ backup<->/opt/var/<->router_state/ #backup<->/tmp/<->router_state/ exclude<->/opt/var/run/* exclude<->/tmp/var/run/* exclude<->/opt/var/lock/* exclude<->/tmp/var/lock/* exclude<->/tmp/*.script exclude<->/tmp/ppp/*
Напоминаю, что местом назначения бэкапа может выступать каталог на удаленном сервере, примонтированный по NFS или sshfs
Важно: чтобы такой трюк прошел с sshfs (в норме - это невозможно) необходима последняя версия (2.2-2) пакета из репозитория, пропатченая для поддержки hard links. Есть нюанс: команда rsnapshot du на роутере будет некорректно (в большую сторону) показывать занимаемое место (для корректного расчета используйте du на удаленном сервере).
При помощи rsnapshot можно делать резервные копии данных с удаленных серверах по ssh (см. также на хабре), а при особом джедайстве - и с Windows машин. Но я сам этим еще не занимался.
Также рекомендуются к прочтению MAN, FAQ и HOWTO.
Junior Member
Всем привет, не уверен, что пишу туда куда надо,но все же тема близка , возможно ли установить btsync на роутер с прошивкой от олега?
Нет, это невозможно, т.к. btsync распространяется только в бинарниках и для mipsel бинарников нет.
Да и не больно надо. По опыту использования на powerpc NAS'е, btsync - довольно тяжёлое приложение даже для NAS'а.
Posting Permissions
Reply With Quote