Не хочу терять отношений с мужчиной

Здравствуйте. Подскажите, как быть? Есть отношения с женатым мужчиной. С семьи он уходить не собирается, ну и мне, как бы сказать, это не надо. Встречи очень редкие, и то только тогда, когда может он. Но произошел нюанс, - переспала с его братом, он это узнал. Как бы не хочется терять его. Меня устраивают те отношения, что между нами. Конечно, встречи редкие - раз в две недели, а то и реже и то не где-то, а в машине, сразу после секса оделись и разъехались. Общаемся только когда он на работе. И может пропасть почти на месяц. Отношения между нами полгода.