خرقه‌پوشان – شامل زاهدان و صوفيان – برای حافظ در رديف نامحرمان‌اند. این راز را نه صوفی می‌فهمد و نه زاهد. نزدِ او صوفی خام است و زاهد تندخو. زهد با عبوس بودن نسبتی دارد. صوفی هم دام می‌گذارد: «صوفی نهاد دام و سرِ حقه، باز کرد / بنياد مکر با فلک حقه‌باز کرد». این دو – زاهد و صوفی – هر دو در زمره‌ی بی‌عملان‌اند:
عنان به ميکده خواهيم تافت زين مجلس
که وعظِ بی‌عملان واجب است نشنیدن

این مجلس وعظ را زاهد و صوفی هر دو با هم بر پا می‌کنند، هر کدام به نوعی و در مقامی. مجلس زاهدان، جایی است که حافظ از آن رو می‌گرداند و راه ميکده را می‌جويد. خانقاه هم نزد او محل خام کردن خلایق است:
مرغِ زیرک به درِ خانقه اکنون نپرد
که نهاده است به هر مجلس وعظی، دامی

حال زمانی را تجسم کنيد که تمام رذايل زاهدمشربی و صوفی‌مسلکی – همان‌ها که وصف‌اش رفت – همه یک‌جا جمع شده باشند: یعنی تندخویی و خشم‌گينی، زهدفروشی و ریاکاری اضافه شده باشد به بساط مرید‌پروری و اطاعت و ارادت طلبیدن. در چنین فضایی، از هر دری که اين زاهدان صوفی‌مشرب بيايند، معنا از در دیگر می‌گریزد. وقتی که محيط انباشته شود از واعظانِ بی‌عمل و صوفيان دام‌گزار، اسرار را البته که باید نهان کرد. هر حرفی را نمی‌شود گفت. گفتنی‌ها را هم بايد در پرده گفت. جمع، وقتی جمع صفاست که حاضران محرم باشند و خبری از درشتی و تندخویی نباشد. جايی که همه بر يک خوان بنشينند و کسی سروری و برتری نجويد و سودای خداوندی بر رفيقان نداشته باشد. «مجلس انس» جایی است که وصف‌اش چنین می‌شود: «ادْخُلُوهَا بِسَلاَمٍ آمِنِينَ وَنَزَعْنَا مَا فِي صُدُورِهِم مِّنْ غِلٍّ إِخْوَانًا عَلَى سُرُرٍ مُّتَقَابِلِينَ» (سوره‌ی حجر (۱۵)، آيات ۴۶-۴۷). در مجلس انس، نه خبری از ارادت‌طلبی «صوفی» هست و نه اثری از «زاهد» تندخوی و خرقه‌پوشی که به غضب و درشتی با خلایق سخن می‌گویند و زبان‌اش زهرآگين است. هر مجلس انسی، حکم بهشت را دارد که نبايد به حضور نامحرمان آلوده شود:
چه جای صحبت نامحرم است مجلس انس
سر پياله بپوشان چو خرقه‌پوش آمد