現実的には

公職選挙法的にはどうであろうと、投票所の管理者がその者に対して、即時退去するよう請求し、その者が催告しても退去しない場合は不退去罪で現行犯逮捕して強制的に連れ出すことで解決できる可能性がありますが、後から選挙妨害とか精神的苦痛を被ったとかで損害賠償請求されるリスクがあると思います。