Нашел.
Это нервная реакция морды на опцию
dht = auto
в rtorrent.conf
Очевидно ведь: auto is not defined в логе. Закомментировал - настройки заработали.
Очевидно также, что просто "галка" для этой опции не подойдет:
# May be set to "disable" (completely disable DHT), "off" (do not start DHT),
# "auto" (start and stop DHT as needed), or "on" (start DHT immediately).
# The default is "off". For DHT to work, a session directory must be defined.