hukum haji yang dibiayai orang lain

Saya mendapat jaminan (kontrak kerja) dari seorang penduduk Saudi, dan beberapa waktu yang lalu, tepatnya pada musim haji, saya merasa tersinggung. Sebab, ketika saya ingin mengerjakan ibadah haji, dia berkata, "Kamu tidak boleh mengerjakan ibadah haji kecuali dengan izin saya." Maka saya kemudian menjawab, "Haji adalah kewajiban dan tidak perlu menunggu izin seseorang." Meskipun saya akan mendatangkan orang yang akan menggantikan pekerjaan saya sampai saya kembali dari haji, namun dia tetap ngotot. Dia malah berkata, "Ini adalah hak kami, meskipun kamu tidak menginginkannya." Maka demi Allah, berilah penjelasan kepada saya, apakah dia benar-benar berhak melarang saya untuk pergi haji? Apakah dia termasuk orang yang menahan seseorang? Apa dalilnya?