Evimi başkasına yaptırdım, müdahale edip sözleşmeyi iptal edebilir miyim?

Geçen yıl kocamla ortak aldığımız arsanın üzerine ben eve yaptırmaya karar verdim. Usta ile sözleşme imzaladım, para verdim. Ama sonra kocam çok bozuldu, sözleşmeyi iptal etmek istiyor, evin yarısı onun diye. Ben parayı geri alabilir miyim? Ev bitmeden nasıl devam eder bu iş? Ne yapmalıyım? Çok korkuyorum evin başkalarının eline geçmesinden.