مرحوم حاج حلوایی ابتدا در شمیرانات سکونت داشت و بعد برای نزدیک شدن به ابوالعرفا به صابون‌پزخانه آمدند. آقا فرموده بود: چون شما در ابتدا آنجا می‌نشستی، حالا که پیش ما آمدی، به خاطر خانواده، خانه‌ بزرگ‌تری بگیر. ایشان هم قبول کرد.