Freivaldsot azzal vádolták, hogy nyomást gyakorolt a szélsőjobboldali, bevándorló-ellenes Svéd Demokrata Pártra, hogy zárja be internetes oldalát, amelyen pályázatot hirdetett Mohamed-karikatúrákra, és ezzel megsértette a véleménynyilvánítási szabadság elvét. A miniszterasszony népszerűsége már 2004 decembere óta mélyponton volt, mert a közvélemény szerint túlságosan lassan reagált a dél-ázsiai szökőárra a mentések elindításával. A cunamiban 543 svéd állampolgár vesztette életét, a skandináv országot érte a legsúlyosabb veszteség a nyugati államok közül.

Laila Freivalds már másodszor kényszerül lemondani miniszteri tisztségéről. 2000-ben az igazságügyi tárca éléről távozott, miután meg akart vásárolni kedvezményes áron egy általa bérelt stockholmi lakást. 2003-ban került vissza a kabinetbe, hogy átvegye a meggyilkolt külügyminiszter, Anna Lindh örökét.