行けます、と言うか行きます。
だって行かないで困るのは自分ですし、"怖い"がどう言う怖いかは分かりませんが、人に迷惑をかけているのは確かですよね？

そんな人のためにこちらが休まなきゃ行けないなんて以ての外！
何かしてきたらまず担任に相談。
何もしてくれなかったら母に相談し、その内容により教育委員会に訴える。
それで良いんです(多分)