どんな理由があるにしろ、あなたに言わず隠れて女性にあってたということは何かしらのやましい心があったということです。
もし職場の人間だったとしてもあなたに黙って会ってたという事には変わりないので、今許したとしても今後同じ事を繰り返します。
次同じことされたら迷わず別れるべきです。
あなたに相応しくありません。