В этой теме (ближе к концу) http://wl500g.info/showthread.php?t=11436 предложено решение для автоматического блокирования доступа с IP на ssh порт после N попыток соединения в течение промежутка времени T с использованием модуля ipt_recent.o Не вижу причин почему нельзя использовать такой же подход для блокирования назойливого доступа по ftp