Gartennutzung nach 34 Jahren Mietverhältniss

Guten Morgen.

Wir haben ein Problem mit unserem Vermieter und einer anderen Familie.
Wir wohnen seit 34 Jahren im 1. Stock eines 2 Familienhauses.
Die im Erdgeschoss wohnen seit ca 4 Jahren im Haus.
Wir haben 25 Jahre lang den Garten gepflegt und die Miete ist immer pünktlich bezahlt worden.
Nun dürfen wir den Garten erst mitbenutzen, wenn wir die anderen Mieter um Erlaubnis fragen.
Die Vermieterin sagte sie hätten den Garten mitgemietet.
Vor 34 Jahren haben wir keinen schriftlichen Mietvertag gemacht.
Alles wurde bis jetzt mündlich verabredet und eingehalten.
Meine Frage in die Runde ist nun, was kann ich tun und wie lang ist die Kündigungszeit.