ومهما كان السبب فقد عزل الألوسي من الإفتاء، وانصرف بكليته إلى إتمام تفسيره وتعليم تلاميذه ومنادمة خلانه. وقد قابل أمر العزل برباطة جأش معهودة فيه بكل أطوار حياته مترقبا الأيام، وتقلب الأحوال. . كل هذا والوالي يتحين الفرص للقضاء عليه، والفتك به، ولما لم يجد سبيلا لذلك فقد قطع عليه مصدر رزقه الوحيد، وهو ما تدره عليه تولية جامع مرجان من مال قليل يقتات به وأهله الكثيرون، فأصدر الوالي نجيب أمره بعزله من التولية بعد أن عزله من الإفتاء وصادر وظائفه الأخرى، وذل بعد عزله من الإفتاء بخمسة أيام مع أنه عين متوليا على جامع مرجان قبل تعيينه مفتيا على مدينة بغداد، هكذا تقول المصادر التاريخية، وقولها الصدق، ولكن للجبروت والاستبداد صولة وسلطة في عهد لم تقيد فيه سلطة الحاكمين بالقوانين والأنظمة والعرف المستقر.
وبرفع الفتوى والتولية عن الألوسي الكبير توالت النكبات عليه، وعضه الفقر بنابه حتى باع كتبه وأثاثه وحاجاته البيتية ليقتات أهله وعائلته الكبيرة بثمنها. وهو مع هذه المصائب منصرف إلى إنجاز التفسير والقيام بواجب الدراسة ومجالسة الإخوان. ويقول اللألوسي في مقاماته التي هي منبع غزير وصور صادقة لحياته وعصره، خصوصا وأنه كتبها في سنيه الأخيرة. يقول واصفا وظيفة الإفتاء وتدخل الحكام في شؤون المفتي (وقد كنت أرى أمر الإفتاء، أمر من القضاء حيث مزقت الشورى أذاك أديمه، وأسقمه أعضاء المجلس ذوو
٩٥٥ / ١٧