جعفر آباد متعلق به خاندان قاجاری بود که مالکیت اکثر املاک این محدوده را در اختیار داشت. در اوایل دورهٔ حکومت رضاخان برای ساخت کاخ سعدآباد تمام اراضی جعفرآباد، سعدآباد و بخشی از دربند از مالکین غصب شد. بدین ترتیب کل روستای جعفر آباد در طرح ساخت کاخ، از بین رفت و جزئی از کاخ سعدآباد قرار گرفت.