درود ...
شما مقصر نیستید، مگر اینکه خلاف آن ثابت شود. همسایه اگر زمین را جابجا کرده، خودش متخلف است.حق عبور باید از زمین برادرش بگیرد، نه از شما(مگر اینکه هیچ راه دیگری نداشته باشد که در اینجا دارد).
حتماً از طریق مراجع قضایی و با کمک کارشناس رسمی اقدام کنید.
اگر همسایه فشار آورده یا تهدید کرده، به هیچ وجه خودتان اقدام به جابجایی مرزها نکنید و حتماً مسیر قانونی را دنبال نمایید.