浮気(不貞行為)をした事実があるとして,損害賠償請求を受けた側は,必ず損害を賠償しなければならないのでしょうか。

法律上,損害賠償を請求する夫婦の一方は,浮気相手に対し,「不法行為に基づく損害賠償請求権」を行使することになります。
したがって,損害賠償請求が認められるためには,その要件を満たさなければなりません。

その要件の一つとして,不法行為が認められるためには,「故意」・「過失」の存在が必要となります。

「故意」とは,損害賠償請求された者が,その相手に配偶者のあることを知っていることを意味します。
また,あまりないケースかと思いますが,過失が認められる場合もあり得ます。
「過失」とは,損害賠償請求された者が,その相手に配偶者のあることを不注意によって知らなかった場合をいいます。

つまり,結婚している人と交際,浮気(不貞行為)をした場合でも,結婚していることを知らず,知らないことに不注意もない場合は,賠償請求は認められないことになります。