Ende Mietverhältnis 31.10.04 - Wann Kautionsrückzahlung?

Hallo,

ich bin am 31.10.04 vorzeitig aus meiner Wohnung ausgezogen. Ich hatte meinem damaligen Vermieter einen Mietaufhebungsvertrag vorgeschlagen, den er auch akzeptierte und unterschrieb. Der Grund war Schimmel in einem Raum im unteren Bereich der Wand und auf dem Teppichboden(!). Es ging hin und her. Er sagte Lüfungsfehler (wohl gern genommen bei Vermietern), ich sagte Baumangel (Schimmel nur im unteren Bereich, Außenwände feucht -> Feuchtigkeit von außen, feuchter Estrich). Das nur mal als kleine Vorgeschichte. Wir sind also nicht gerade in Freundschaft auseinander gegangen. Wir hatten vereinbart, dass ich die Wohnung besenrein hinterlasse, was ich auch tat. Ich stopfte auch die Dübellöcher und überstrich sie mit weißer Wandfarbe.
Mein Vermieter hat also keinen Grund zur Beanstandung.
Das ganze ist ja nun über einen Monat her. Die Kaution hat er mir noch nicht zurücküberwiesen.
Nun meine Frage: Kann er sie grundlos zurückbehalten? Ich habe mal gehört, ein Vermieter kann sie 6 Monate Zeit mit der Rückzahlung lassen. Stimmt das? Und wenn ja, muss man sich das gefallen lassen, wenn es nicht begründet werden kann?

Danke im voraus für Antworten