Всем добрый день.
Роутер RT-N16 с подключенным юсб диском, на котором стоят nginx, php-fcgi, rtorrent и куча всевозможных системных утилит типа mc, iptraf, tshark и т.п. Постоянно работают nginx, php-fcgi и rtorrent. Довольно долгое время стояла прошивка r3027, все было в порядке. Вчера поставил r3145, начались жуткие траблы. Какое-то время работает, потом падает rtorrent и перезапустить его уже нельзя. Раньше когда падал его перезапускал самопистный скрипт services_check, запускаемй кроном каждые 5 минут. Сейчас же за ночь набежало очень много этих запущенных и висячих процессов.
Посмотрел в dmesg - там вот такого достаточно немало:
Code:
CPU 0 Unable to handle kernel paging request at virtual address 00000010, epc == 8005b618, ra == 80072aa0
Oops[#1]:
Cpu 0
$ 0 : 00000000 00000001 ffffffaf 80040000
$ 4 : 00011200 00000010 00000000 8005b624
$ 8 : 00000000 80005070 00020000 ffffffff
$12 : 802e6b08 802f8ea0 802f8ea0 00000000
$16 : 00011210 00000000 00000018 00000010
$20 : 80044144 8473fb54 8473fb48 8032a820
$24 : 00000000 2b00b9c0
$28 : 8473e000 8473fb38 802e6a44 80072aa0
Hi : 00000000
Lo : 00000000
epc : 8005b618 0x8005b618 Tainted: P
ra : 80072aa0 0x80072aa0
Status: 1100bc03 KERNEL EXL IE
Cause : 00000008
BadVA : 00000010
PrId : 00019740
Modules linked in: nfsd exportfs lockd sunrpc fuse usb_storage sd_mod scsi_mod usblp ohci_hcd ehci_hcd usbcore xt_recent nf_nat_ftp nf_conntrack_ftp wl(P) et(P) igs(P) emf(P)
Process rtorrent (pid: 463, threadinfo=8473e000, task=86e2dc00)
Stack : 8473fc04 800b0338 8473fbdc 00000001 8473fbc8 86d8e600 85427600 00000000
000000f0 00000000 85427600 875bcd80 85427300 00000000 00000000 811cf3b0
8473fc04 80072aa0 00000000 8249a440 86d096b0 801fb968 00000000 00000000
00000000 811cf3b0 000000f0 811cf3b0 802b8e54 802b8ea4 0000000c 000000f0
8101e460 8011c270 8473fbc8 00008d1f 00000025 0000020b 811cf494 8734bd34
...
Call Trace:
[<80003204>] stack_done+0x20/0x40
Code: 32130010 27b5001c 27b60010 <8e230010> 0060f809 8e25000c 1040000c 00401821 8fbf0044
Посмотрел free:
Code:
root@pilson-router:root# free
Segmentation fault
Далее:
Code:
root@pilson-router:root# cat /proc/meminfo
MemTotal: 126736 kB
MemFree: 17092 kB
Buffers: 768 kB
Cached: 89240 kB
SwapCached: 24 kB
Active: 48152 kB
Inactive: 47904 kB
SwapTotal: 506480 kB
SwapFree: 506180 kB
Dirty: 4 kB
Writeback: 0 kB
AnonPages: 6100 kB
Mapped: 8144 kB
Slab: 4276 kB
SReclaimable: 1156 kB
SUnreclaim: 3120 kB
PageTables: 456 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 569848 kB
Committed_AS: 17476 kB
VmallocTotal: 786356 kB
VmallocUsed: 4468 kB
VmallocChunk: 780892 kB
root@pilson-router:root# free
На этом месте работа с этой консолью заканчивается тем что она просто висит, не реагируя на ctrl+c и т.п.
Если параллельно зайти в еще одну консоль, то можно посмотреть список процессов, в которых виндо и подвисшую консоль, и несколько подвисших запущенных кроном заданий, которые походу висят так же как и консоль:
Code:
ps aux
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.4 1436 608 ttyS0 Ss+ 13:54 0:00 /sbin/init
root 2 0.0 0.0 0 0 ? S< 13:54 0:00 [kthreadd]
root 3 0.0 0.0 0 0 ? S< 13:54 0:01 [ksoftirqd/0]
root 4 0.0 0.0 0 0 ? S< 13:54 0:00 [events/0]
root 5 0.0 0.0 0 0 ? S< 13:54 0:00 [khelper]
root 23 0.0 0.0 0 0 ? S< 13:54 0:00 [kblockd/0]
root 49 0.0 0.0 0 0 ? S 13:54 0:00 [pdflush]
root 50 0.0 0.0 0 0 ? D 13:54 0:00 [pdflush]
root 51 0.0 0.0 0 0 ? S< 13:54 0:00 [kswapd0]
root 52 0.0 0.0 0 0 ? S< 13:54 0:00 [aio/0]
root 101 0.0 0.0 0 0 ? S< 13:54 0:01 [mtdblockd]
root 197 0.0 0.2 1420 288 ? Ss 13:54 0:00 syslogd -m 0 -O /tmp/syslog.log -S -D -l 7 -b 1
root 199 0.0 0.2 1420 272 ? Ss 13:54 0:00 klogd
root 202 0.0 0.2 976 280 ? S 13:54 0:00 eapd
root 205 0.0 0.3 1160 428 ? S 13:54 0:00 nas
root 211 0.0 0.2 1216 340 ? S 13:54 0:00 dropbear -4
root 214 0.0 0.2 1156 356 ? S 13:54 0:00 httpd vlan2
nobody 218 0.0 0.3 936 432 ? S 13:54 0:00 dnsmasq
root 225 0.0 0.0 0 0 ? S< 13:54 0:00 [khubd]
root 278 0.0 0.0 0 0 ? S< 13:54 0:00 [scsi_eh_0]
root 279 0.1 0.0 0 0 ? S< 13:54 0:03 [usb-storage]
1 303 0.0 0.2 760 332 ? S 13:54 0:00 /usr/sbin/portmap
root 306 0.0 0.3 996 436 ? Ss 13:54 0:00 /usr/sbin/statd
root 308 0.0 0.0 0 0 ? S< 13:54 0:00 [nfsd4]
root 318 0.0 0.0 0 0 ? S 13:54 0:00 [lockd]
root 328 0.0 0.0 0 0 ? S 13:54 0:00 [nfsd]
root 330 0.0 0.1 992 232 ? Ss 13:54 0:00 /usr/sbin/mountd
root 360 0.0 0.1 780 228 ? S 13:54 0:00 /usr/sbin/igmpproxy /etc/igmpproxy.conf
root 362 0.0 0.5 1356 656 ? S 13:54 0:00 pppd file /tmp/ppp/options.wan0
root 363 0.0 0.4 1456 540 ? Ss 13:54 0:00 watchdog
root 419 0.0 0.1 1032 228 ? Ss 13:54 0:00 /usr/sbin/vsftpd
root 421 0.0 0.6 1820 816 ? Ss 13:54 0:00 /usr/sbin/nmbd -D
root 423 0.0 0.5 2044 700 ? Ss 13:54 0:00 /usr/sbin/smbd -D
root 437 0.0 0.2 1052 340 ? Ss 13:54 0:00 /opt/sbin/cron
root 439 0.0 3.8 22564 4908 ? Ss 13:54 0:00 /opt/bin/php-fcgi -q -b 127.0.0.1:9000
root 442 0.0 0.5 4280 716 ? Ss 13:54 0:00 nginx: master process /opt/sbin/nginx
root 444 0.1 1.5 4556 1996 ? D 13:54 0:03 nginx: worker process
root 464 0.0 4.3 22884 5552 ? S 13:54 0:01 /opt/bin/php-fcgi -q -b 127.0.0.1:9000
root 465 0.2 0.4 1312 608 ? Ss 13:55 0:04 dropbear -4
pilson 468 0.0 0.3 1428 436 pts/2 Ss 13:55 0:00 -sh
root 469 0.0 0.3 1428 432 pts/2 S 13:55 0:00 sh
root 472 0.0 0.3 1440 484 pts/2 S 13:55 0:00 -sh
root 531 0.0 0.1 1052 208 ? S 14:05 0:00 /opt/sbin/cron
root 532 0.0 0.2 1424 344 ? Ss 14:05 0:00 /bin/sh -c run-parts /opt/etc/cron.5mins
root 533 0.0 0.3 1428 388 ? S 14:05 0:00 /bin/sh /opt/bin/run-parts /opt/etc/cron.5mins
root 534 0.0 0.3 1424 384 ? S 14:05 0:00 /bin/sh /opt/etc/cron.5mins/services_check start
root 542 0.0 0.4 2100 580 ? D 14:05 0:00 /opt/bin/bash /opt/etc/init.d/S99rtorrent restart
root 558 0.0 0.0 96 4 pts/2 D+ 14:08 0:00 [free]
root 559 0.0 0.1 1052 208 ? S 14:10 0:00 /opt/sbin/cron
root 560 0.0 0.2 1424 344 ? Ss 14:10 0:00 /bin/sh -c run-parts /opt/etc/cron.5mins
root 561 0.0 0.3 1428 388 ? S 14:10 0:00 /bin/sh /opt/bin/run-parts /opt/etc/cron.5mins
root 562 0.0 0.3 1424 384 ? S 14:10 0:00 /bin/sh /opt/etc/cron.5mins/services_check start
root 570 0.0 0.4 2100 580 ? D 14:10 0:00 /opt/bin/bash /opt/etc/init.d/S99rtorrent restart
root 571 0.0 0.1 1052 208 ? S 14:15 0:00 /opt/sbin/cron
root 572 0.0 0.2 1424 344 ? Ss 14:15 0:00 /bin/sh -c run-parts /opt/etc/cron.5mins
root 573 0.0 0.3 1428 388 ? S 14:15 0:00 /bin/sh /opt/bin/run-parts /opt/etc/cron.5mins
root 574 0.0 0.3 1424 384 ? S 14:15 0:00 /bin/sh /opt/etc/cron.5mins/services_check start
root 582 0.0 0.4 2100 580 ? D 14:15 0:00 /opt/bin/bash /opt/etc/init.d/S99rtorrent restart
root 583 0.0 0.1 1052 208 ? S 14:20 0:00 /opt/sbin/cron
root 584 0.0 0.2 1424 344 ? Ss 14:20 0:00 /bin/sh -c run-parts /opt/etc/cron.5mins
root 585 0.0 0.3 1428 388 ? S 14:20 0:00 /bin/sh /opt/bin/run-parts /opt/etc/cron.5mins
root 586 0.0 0.3 1424 384 ? S 14:20 0:00 /bin/sh /opt/etc/cron.5mins/services_check start
root 594 0.0 0.4 2100 580 ? D 14:20 0:00 /opt/bin/bash /opt/etc/init.d/S99rtorrent restart
root 595 20.4 0.4 1288 584 ? Ss 14:21 0:02 dropbear -4
pilson 596 0.5 0.3 1428 436 pts/0 Ss 14:21 0:00 -sh
root 597 0.7 0.3 1428 432 pts/0 S 14:21 0:00 -sh
root 602 0.0 0.4 1524 512 pts/0 R+ 14:21 0:00 ps aux
Если снова попытаться запустить free - будет то же что и в прошлой консоли.
Сначала подумал что виноват новый тулчейн 4.4.6, т.к. прошивку собирал сам. Собрал со старым 4.3.5 - тот же результат. Скачал ту же прошивку с core.dumped.ru - то же самое...
Что подскажете? Что посмотреть, куда копать?