Einbehalten der Mietkaution wg. Schimmelbeseitigung

unser Vermieter will uns nach Auszug die Kaution nicht zurückzahlen, da es ein Schimmelproblem in Bad und WC gäbe, welches durch unser Lüftungsverhalten entstanden sei. Während unserer Mietzeit wiesen wir ihn mehrmals auf ein Schimmelproblem hin, allerdings immer nur telefonisch, nie schriftlich. Die Antwort war immer, dass es ein bautechnisches Problem sei (in Bad und WC sind seit den 70er Jahren nur Kippfenster), was aber nicht behoben werden könne, man müsse damit leben und wir sollten den Schimmel in den Badfliesenfugen doch mit Backpulver zu Leibe rücken! Ob sich im Bad auch noch unter der Tapete Schimmel gebildet hat wissen wir nicht, war bei unserem Auszug jedenfalls nicht sichtbar. Nun hat wohl unser Nachmieter den Mangel angezeigt und der Vermieter will den Schaden beheben, allerdings auf unsere Kosten. Wie sollen wir uns verhalten? M. E. sind wir für die Schimmelbildung nicht verantwortlich. Wir haben regelmäßig, halt über die Kippfenster gelüftet und zusätzlich noch die Balkontür im Schlafzimmer geöffnet, damit etwas Durchzug entsteht. Mehr können wir ja wohl nicht tun. Danke für Eure Antworten