Betreten & Weitervermietung vor Wohnungsübergabe?!

Zur Zeit beschäftigt mich dringend folgendes Problem:

Am 16. August ungefähr sind wir aus unserer alten Wohnung ausgezogen. Da wir sehr beschäftigt waren, haben wir uns mit der Rückgabe noch etwas Zeit gelassen. Der Vermieter hat sich allerdings während unserer Abwesenheit - auf welche Weise auch immer - ohne unser Wissen Zugang zu der Wohnung verschafft, sie mit potentiellen neuen Mietern besichtigt und sie neu vermietet.

Als wir schließlich den Termin zur Übergabe ausgemacht hatten und ein paar Stunden vor dem Termin an der Wohnung erschienen, um sie auf Vordermann zu bringen, fanden wir sie zu unserer Überraschung von Nachmietern bevölkert und bereits halb renoviert bzw. eingerichtet vor - obwohl wir eigentlich noch bis zum 15.10. Miete bezahlt haben.

Der Vermieter zeigte sich sehr verärgert darüber, daß wir einfach "verschwunden" waren, ohne wenigstens eine Telefonnummer hinterlassen zu haben, was natürlich ein Versäumnis unsererseits darstellt.

Ich frage mich nun, welches Recht dieser Mensch hatte, sich ohne unser Wissen vor Übergabe der Wohnung Zugang zu derselben zu verschaffen.

Noch dazu zeigt er sich nun nicht bereit, die Kaution zurückzuzahlen, da angeblich der mitvermietete Kühlschrank weggeschmissen werden musste (mit der Begründung, daß die Eisschicht im Tiefkühlfach zu dick war) und sich außerdem Ungeziefer in der Wohnung befand. Er meinte, daß er das alles dokumentiert hätte. Er erzählte uns, daß er das Ungeziefer erst nach Eindringen in die Wohnung bemerkt hätte, als die Mutter meines Freundes jedoch nachfragte, behauptete er, daß er sich Zugang zu der Wohnung verschafft habe, da Ungeziefer daraus drang.
Inwiefern das wahr ist, weiß ich nicht - klar ist nur, daß sich zum Zeitpunkt unseres Auszuges keinerlei wie auch immer geartetes Ungeziefer in der Wohnung befunden hatte.

Es wurde uns keine Gelegenheit gegeben, die angeblichen Mängel vor der "Wohnungsübergabe", die zur Farce geriet (vermutlich hätten wir die Schlüssel auch per Post übersenden können), zu beseitigen.
Kann ich die Kaution nun überhaupt zurückverlangen?

Ich bin in einem hohen Maße konsterniert und befremdet.