うまい返しを教えてください

皆様お疲れ様です。

お二人にどうしても聞きたいことがあり書き込みしました。

趣味でジャズバンドをやっております。
一緒に演奏している方々の年齢は40歳〜50歳くらいですが、私と同じ楽器を演奏する方で30歳の男性がおり、年齢が近いこともあり先輩後輩のような距離感で接しておりました。

先日ライブの打ち上げで、何かの話の流れから周りの方々に、「君たち(私＋歳に近い男性)付き合っちゃいなよ〜」と言われました。
私は正直その方のことは異性として意識したことはなく、付き合いたいとか全く考えていなかったので困惑してしまい、咄嗟に
「私なんか〇〇さんとは不釣り合いですよ〜」と
言ってしまいました。

でも冷静に考えたら、結局相手のことを否定するような形になってしまい、自分のせいで気分を害してしまったのではないかと猛反省しております。。
でもかといって良い返しも思い浮かばず、この連休は頭の片隅でずっとこのモヤモヤが残ってしまいました。

こういう場面ってどう切り返したらいいんですかね...。
誰も傷つけず、丸く収められるようないい切り返し術があれば教えてください！

1