拆迁后如何要回属于我父亲的财产，之前有过遗嘱协议的，未公证
2010年9月我父亲的自有房产宅基地因大红门处拆迁，所以分得安置房和拆迁款，我母亲于2006年已经去世。因我父亲一直和儿子（我小弟弟）和他媳妇一起住在一起，在此之前我父亲曾写过一份类似遗嘱的协议，未公证过的，内容大概是此处房产归我弟弟所有，并给我父亲养老送终。全家人都签过字。
后来因为此处拆迁，户口上有人员多人，家中一共5个子女，我排行老二，当时我的户口未迁入所以没有我的。在户的包括我小弟弟，我父亲，我大弟弟，我哥，我妹妹5家。我弟弟自己说是跟拆迁办的还送过礼，所以最后分得房产7套，原本只有3套，这是他自己说的，我们也不知道真假。最后的结果是写有我父亲产权的房屋1套，写有我小弟弟产权的房屋2套，我哥哥1套，我妹妹1套，我大弟弟2套。因为我小弟弟一直与我父亲住在一起，所以当时一切的拆迁事宜都委托给我小弟弟办理。也有委托书，他总共获得拆迁一切款项100多万。（他有这么多钱是我们去拆迁办找人拿到了当初的办理拆迁资料才得知，之前一直都不知道他有多少钱。）
因为我没有得到任何房屋及补偿，所以大家商量每家给我4万作为补偿。所有人都给了，唯独我小弟弟一直不给，因为此事我父亲一直和我小弟弟闹矛盾，我小弟弟认为之前的协议的意思是此处房产本来就应该都是他自己的，现在没有办法，政府要拆迁，大家才有的房，所以他认为就更不应该多掏一分钱给我。我本来觉得4万块钱不是问题，要不要都没关系，但因为此事，我小弟弟对我父亲越来越不好，不给做饭，冷暴力对待，最后逼得我父亲只好搬出来去住了养老院。
对我怎样没关系，但对我父亲这样实在是太过分了。所以我父亲决定不跟我小弟弟一起过了，可养老院每月3000多的费用，因为钱都在我小弟弟名下，我父亲想把钱要回来，但我小弟弟死攥着钱就是不给。我们全家人去我小弟弟那里想把当初委托的手续和当初写的协议拿回来，但早已经被我小弟弟藏起来，并且还发生了争执，在争执过程中，我被我小弟弟从3楼推下2楼，摔的很严重，我大弟弟也被我小弟弟打了好几个耳光，我妹妹因为身体不好没有被伤害到。全家人已经伤心到极点，我小弟弟已经不看亲情了，所以我们想走法律手续来要回我父亲该得的钱。
我家的情况比较复杂，请问这样的前提下，我父亲能要回多少财产？应该从哪个角度去打这个官司？另外那个协议能作废吗？或者有没有什么办法让我父亲得到最大的利益？我们该怎么办？
··如此复杂的家庭纠葛，涉及财产和赡养问题，协商不成，可以起诉解决。别无良策。
