ほっておけばいいんじゃないかな。
話していても仕事できる人はできるし、できない人はできない。会社での評価は仕事できるか否かがメインだと思うので、その後輩達が仕事できるなら問題ないし、できないなら相対的に自分の評価が上がるだけ。もし迷惑なら、耳栓の使用許可をもらって、落ち着いて仕事すればいいと思います。