難しい質問ですね…。
結婚っていう制度がある以上は不倫は悪いってことになるんでしょうけどね…。
個人的には倫理道徳の問題だから個人の信じる道を行けば良いのかな、とは思います（マジ回答）。ただ、その代償（慰謝料やら…）を背負う覚悟で、ですけどね。