自分に害がある人がいるなら辞めればいいし、
ただ仕事に行きたくないなら期限を決めてそれまでは頑張って、それから働き続けるか辞めるか決めてみては？