生きていれば他人と目が合う事は珍しくもありません。
自分に気があって見ていたのではとお考えなのかも知れませんが、相手も「あ、何か知らん人と目が合った。気まず…」くらいにしか思っていない可能性の方が高いと思います。