Bin Vermieter - Mieter beschwärt sich über angeblichen Lärm von mir

Wir besitzen ein Haus mit 2 Wohnungen, in der oberen wohnen wir selbst. Der Mieter in der Wohnung darunter beschwert sich über uns, wir wären zu laut. Wir hatten unsere Wohnung neu renoviert (es handelt sich bei dem Haus um einen Altbau) und Parkett verlegt, haben hier aber eine DIN-Trittschalldämmung von 2,5 cm verlegt.
Der Mieter arbeitet als Arbeiter Schicht, schläft tlw. daher tagsüber oder zu anderen Zeiten wie wir, wir arbeiten "normal", d.h. gehen um ca. 8 Uhr aus dem Hause und kommen gegen 20 Uhr zurück. Mittlerweile trauen wir uns nicht mal mehr, im Wohnzimmer überhaupt zu laufen, schon gar nicht mit Schuhen und das im eigenen Haus.
Jetzt droht er mit Mietminderung, worauf sie aber kein Recht hat. Wir haben keine Freunde eingeladen, keine Musik gehört, keine Parties gefeiert, sondern wir laufen nur in Hausschuhen rum. Muß ich einen Lärmgutachter einschalten? Am liebsten würden wir nach Paragraph 573a sofort kündigen, da wir keine Vertrauensbasis mehr haben.