Hausverbot ?

Hallo. Bin mit meinen Nerven am Ende. Habe ein 2-Familienhaus komplett gemietet und eine Wohnung zum Teil untervermietet. Ein Zimmer dieser Wohnung nutze ich selbst beruflich. In der zweiten Wohnung wohne ich mit meinen beiden Kindern.
Nun hat sich mein geschiedener Mann mit meiner Untermieterin angefreundet und hält sich aus diesem Grund fast ständig hier auf. Dazu ist zu sagen, daß mein Ex wegen Körperverletzung an mir verurteilt wurde und auch kein Besuchsrecht bei den Kindern bekommen hat. Sorgerecht hab ich auch allein.
Nun versucht er eben auf diesem Weg hier Zutritt zu bekommen und mich zu kontrollieren.
Vor drei Tagen ist er gewaltsam in meine Wohnung eingedrungen und hat mich bedroht. Die Polizei kam und hat ihn aus meiner Wohnung entfernt und er lief rauf zur Untermieterin.
Ich erteilte ihm schriftlich Hausverbot für das gesamte Haus. Meine Untermieterin meint nun, für Ihre Wohnung kann ich das nicht verfügen. Da er aber ständig bei ihr oben ist, kann ich mein Arbeitszimmer nicht mehr nutzen und habe Angst aus der Wohnung zu gehen. Außerdem hab ich Angst um meine Kinder, die wollen ihren Vater auch nicht sehen, da er auch zu ihnen nicht gerade zimperlich war.
Hat das Hausverbot Gültigkeit oder was kann ich sonst tun ?
Bitte dringend um Antwort, ehe es hier eine Katasthrophe gibt.