مات في ربيع الآخر سنة سبعين ومائة واختلف في سبب موته فقيل إنه دفع نديمًا له من جرف على أصول قصب قد قطع فتعلق النديم به فوقع فدخلت قصبة في منخره فماتا جميعًا وقيل أصابته قرحة في جوفه وقيل سمته أمه الخيزران لما عزم على قتل الرشيد ليعهد إلى ولده وقيل كانت أمه حاكمة مستبدة بالأمور الكبار وكانت المواكب تغدو إلى بابها فزجرهم عن ذلك وكلمها بكلام وقح وقال: لئن وقف ببابك أمير لأضربن عنقه أما لك مغزل يشغلك أو مصحف يذكرك أو سبحة فقامت ما تعقل من الغضب فقيل إنه بعث إليها بطعام مسموم فأطعمت منه كلبًا فانتثر فعملت على قتله لما وعك بأن غموا وجهه ببساط جلسوا على جوانبه وخلف سبعة بنين. ومن شعر الهادي في أخيه هارون لما امتنع من خلع نفسه:
نصحت لهارون فرد نصيحتي … وكل امرئ لا يقبل النصح نادم
وأدعوه للأمر المؤلف بيننا … فيبعد عنه وهو في ذاك ظالم
ولولا انتظاري منه يومًا إلى غد … لعاد إلى ما قلته وهو راغم
ومن أخبار الهادي أخرج الخطيب عن الفضل قال: غضب الهادي على رجل فكلم فيه فرضى فذهب يعتذر فقال له الهادي إن الرضا قد كفاك مؤنة الاعتذار وأخرج عن عبد الله بن مصعب قال: دخل مروان بن أبي حفصة على الهادي فأنشده مديحًا له حتى إذا بلغ قوله:
تشابه يومًا بأسه ونواله … فما أحد يدري لأيهما الفضل
٢٨٠