自分の気持ちによるんじゃない？
相手に魅力があれば付き合えば良いし、自身の時間を削るだけと思うならはっきりと断るべき。
要は
「判断するから魅力をきっちり説明して」
で良いと思う。