Проблема не решилась, через 3 часа после перезагрузки роутера в /proc/net/nf_conntrack уже 12000 соединений. Причем из них 85% - это udp, остальные tcp TIME_WAIT. Все на порт 56651 моего торрент клиента.
Пробовал уменьшать таймауты, но ситуация сильно не изменилась. При добавлении закачки, роутер может просто повиснуть, помогает только отключение блока питания и последующее подключение.
Короче, я снес uTorrent и поставил BitTorrent 7.8. Все работает нормально, в /proc/net/nf_conntrack не больше 200 соединений. Не знаю, может глючная версия uTorrent была.
В прошивке от Олега есть Bandwidth Management, пробовали его настраивать?