Cпасибо за ответ. Но мою проблему это не решило.
В итоге пришёл к выводу, что проблемы со скоростью никак не связаны с добавлением второго айпишника. Проблемы начались после того как я перешёл с серого айпишника на реальный. Как бы странно это не звучало проблемы со скоростью начинаются именно через несколько часов. Может кто-нибудь сталкивался?