私も、相手にその気がなくてもちょっとした一言で傷付いてしまったり、敏感に受け取りがちです。
言葉尻を掴むようにはなってしまいますが、辛ければ離れるで良いかと思います。大人はそう簡単には変わりません。