私小説などの影響かなにか分かりませんが、あなたのこと好きだけど付き合えない状況下だから自分自身の思い出とイメージだけをあなたに残して離れようとしてるのでは無かろうかとか考えてしまいますが私の憶測でしかありません。
難しいですね、人の心は