理不尽に怒られているのなら言い返しても良いかもしれません。
ただ、理不尽に怒られても感情的にならず「すみません」「ごめんなさい」と言って問題を解決する為に行動できる人は大人だなって思います。
もしかしたら言い返してしまう癖を直すともっと周りから印象がよくなるかもしれませんよ。