私も良くそーいう心配するかも…
ただ、めんどくさいと思われたらその人はあんまり自分に話しかけなくなると思うから｢あ、めんどくさいやつだって思われたんだな｣ぐらいの軽い気持ちで距離置けばいいと思う