遠慮して断ったのに大丈夫だよ!とかも言わずに喜ぶの性格悪すぎだろ。人のコンプレックスを平気で言えるようなやつの兄弟はそんなもんか。
それはとても傷ついたし、腹も立ちますよね。遠慮して断った気持ちを受け止めてもらえず、さらにコンプレックスまで踏み込まれると、「大切に扱われていない」と感じて当然です。相手の言動に失礼さがあったのは確かですし、あなたが悪いわけではありません。今は無理に分かり合おうとせず、距離を取って心を守るのが大事です。言葉のダメージが大きいときは、ひとりで抱え込まず、信頼できる人に気持ちを吐き出してください。