一概にダメとは言いませんし、お友達がどういう理由で何を言うのかはわかりませんが、人によってはやっぱりちょっと抵抗あるかもしれないですね。個人的に、服を選ぶ時には好き嫌いと同じくらい似合う似合わないも考えるべきだと思っていて、自分はメンズかレディースかに関わらず、最低限見た人に違和感や不快感を与えない格好を心掛けています。男性が女性の服を着ると、デザインやサイズ感によっては違和感があったり「あれ？」となったりすることもあると思うので、その辺りに気を付けると良いのかなというのが自分の考えです。
最近はメンズでもレディースでもユニセックスなデザインのアイテムが増えていると思うので、それを上手く生かしてみるのもいいと思いますよ！