お友達さんに「〇〇と一緒にゲームしたいけど、〇〇の彼氏は苦手なんだ…だからゲームするとき彼氏いない方が助かる」と正直に伝えるのが良いと。
言いづらいかと思いますが無理をしないことが大事ですし、お友達ならきっと質問者さまの気持ちをわかってくれるのではないでしょうか。
お友達を信じて話すのがよいと思います。