仮に貴方がその上司だとして、直接言われてないのに何故か相手の携帯に連絡先登録されてるの怖くないですか

直接聞いた訳では無いのなら一言あるべきです。マナーとして。