あまりいいアドバイスにはならないと思いますが、極力自分から相手に近付いたりする事をやめたりすることですかね？
相手から近づいてくる機会が多ければ、会話中の口数を減らしたり、必要最低限の反応をしてみるとかはいかかでしょうか？
自分は大体これで成功してます。