واستمر ابن سلامة إلى أن صرف عن القضاء في السابع من المحرم سنة ثلاث وأربعين وخمسمائة، وبقيت معه الدعوة. وذكر ابن فضلان في تاريخه أنه تأخرت وفاته إلى سنة ست وأربعين.
قال محمد بن أسعد الجواني في النقط: وكان كريم الخلق، حليمًا مهيبًا، وفورًا مليح الشيبة، ظريف الهيئة، وكان على رأي القوم. قال: ورأيته - عدة سنين بمصر،
يوم طواف المساجد والجوامع قبل رمضان بيومين - إذا وصل إلى مسجد الحاكم.. نزل وصلى فيه يناوله صرة فيها مائة درهم، وربما كانت ثلاثمائة فيأخذها منه، ويضعها في كمه، ويقول له يا سيدنا: هذه برسم الغلمان. قال: فدام على ذلك عدة سنين.
وقال الجواني أيضًا: سمعت أبا الطاهر يحدث والدي بدار الضرب، قال: قال لي الحافظ: يا قاضي أحدثك بحديث عجيب، قلت نعم. قال: لما جرى علي من أبي على ابن الأفضل ما جرى، رأيت وأنا في الاعتقال أني جلست في مجلس أعرفه في القصر، وكأني عدت إلى الخلافة، ودخل إلي المغاني وفيهن واحدة معها عود تغني وتقول:
أَتتكَ الخلافةُ مُنْقادةً ... إليكَ تُجرِّرُ أَذْيالَها
فلم تكُ تصلحُ إلاَّ لَهُ ... ولم يكُ يصلحُ إلاَّ لهَا
وَلَوْ رَامَهَا أَحَدٌ غَيْرَهُ ... لَزُلْزِلَتِ الأرْضُ زِلُزَالَها
٨٥