本当に「フォロバしなかったから」なのかはわかりません。
もし「フォロバしたら解除されない」のであれば、それはそれで気を使わせているかもしれないと感じるので、素直でよろしいと思います。