私も言われたことあります…めちゃくちゃ困りますよね？？自身の仕事関係だったり友人関係を言ってしまえば赤の他人にあたる人間に言われる筋合いありませんよね？？
浮気云々が心配なのは分かりますがどう考えても困るじゃないですか、職種によれば尚更。ですので何故自分自身が他の女の子の連絡先を残しているのか消したら困るのかを説明して彼女さんを納得させるところから始めてみてはいかがでしょうか？
女の子は基本的に自分だけを見て欲しい傾向が強いなんとも愛らしい思考の子達なので愛でながら、けれども自分の意見もちゃんと言ってみてはどうでしょうか？