كأي تنظيم مسلح لجماعة أنصار الإسلام هيكل تنظيمي يأتي على رأسه الأمير ونائباه، وهما مسئولان عن التنظيم ورسم سياستيه العسكرية القتالية، والسياسية.
- اللجنة العسكرية أو الهيئة العسكرية وهي مؤلفة من 8 كتائب قيادتها تشكل الهيئة العسكرية (أكراد)، وهي التي تدير العمليات العسكرية ورسم خطط القتال والأهداف، ويتمثل التسليح في الرشاشات الثقيلة وقذائف الهاون، والأسلحة المضادة للطائرات، مع أنباء عن وجود مواد كيماوية.
ويتميز أسلوب معارك "أنصار الإسلام" باتباع أسلوب حرب العصابات من كر وفر، خاصة أنها متمركزة في مناطق جبلية وعرة تساعدها على اتخاذ هذا الأسلوب.
ومع بداية التأسيس كان لدى جماعة أنصار الإسلام 27 مركز تدريب، فيما يُقدر عدد عناصرها 5600.
- اللجنة الأمنية، وهي التي يستند إليها جمع المعلومات، وتأمين التنظيم من أي اختراقات أمنية لأي أجهزة مخابراتية أو لجماعات مسلحة أخرى.
وأعضاء تنظيم أنصار الإسلام على حذر شديد حيث لا تستخدم الهواتف النقالة ولا الأجهزة الإلكترونية ويحبذون التواصل المباشر عبر الأشخاص حتى لا يمكن الاستدلال على أماكن تواجدهم.
- اللجنة الشرعية، والمحكمة الشرعية، وهما مختصتان بالأمور الشرعية والفصل والحكم بين أعضاء التنظيم وأيضًا العامة.
- اللجنة الإعلامية، وهي المسئولة عن إدارة الحسابات الإعلامية ونشر كل ما يتعلق بالتنظيم في وسائل الإعلامية المختلف على شبكة الإنترنت أو عبر وسائل الإعلام الأخرى.
- مجلس شورى الجماعة، وهو التنظيم الأعلى والذي يعد أعلى هيئة في التنظيم، ويتألف من 15 عضوًا (أكراد)، يرأسه الأمير ونائبه.
كان أبو عبد الله الشافعي، زعيم الأنصار الأول حتى بعد 11 سبتمبر 2001، ثم تولى الملا كريكار محل الشافعي كزعيم للأنصار، وأصبح الشافعي نائبًا له. بعد أن غادر الملا كريكار عن النرويج في عام 2003، أصبح أبو عبد الله الشافعي مرة أخرى زعيم جماعة أنصار الإسلام.
وقد تبرأت جماعة «أنصار الإسلام» الكردية الأصولية من زعيمها الملا نجم الدين فاتح كريكار، وقال بيان يحمل اسم المسئول الإعلامي لـ«أنصار الإسلام» وموقع بتاريخ 15 أغسطس 2003 وزع في المواقع الجهادية القريبة من «القاعدة»: إن تصريحات ومقابلات الملا كريكار في وسائل الإعلام تحمل بين الحين والآخر مخالفات شرعية وأقوالًا (كفرية علمانية) تخالف منهج الجماعة الأصولية. وأكد البيان أن الملا فاتح كريكار قد تم عزله عن إمارة «أنصار الإسلام» في نهاية شهر فبراير من العام الحالي، وقد وقع قرار العزل أعضاء مجلس الشورى.
ومن جهته علق الملا فاتح كريكار، 47 عامًا، طالب اللجوء السياسي في اتصال هاتفي أجرته معه «الشرق الأوسط» في النرويج بقوله: «إنه ليس زعيم الجماعة الأصولية في الوقت الحالي». وقال: إن أعضاء «مجلس الشورى» وهم 14 شخصًا، ويتزعمهم أبو عبد الله الشافعي، 32 عامًا، لهم الحق أن يتصرفوا كما يريدون في الوقت الحاضر، بعد أن انقطعت الاتصالات معهم في الوقت الحاضر.
وبعد الاحتلال الأمريكي انضم عدد من قيادات حزب البعث والجيش والأمن العراقي إلى تنظيم "أنصار الإسلام"، فقد ذكر تقرير نيوزويك، أن "مقاتلي أنصار ينضمون قوات من البعثيين." وأشار التقرير أيضا إلى أن هيكل الأنصار بدأ يتخذ مثل هذا أن يقال: "قوة القتال لإعادة تنظيم في وحدات صغيرة تتكون كل وحدة من عشرة إلى خمسة عشر عضوا" وهو ما اعتبر تغيرًا في استراتيجية التنظيم وأصبح يضم خلايا معقدة من المقاتلين.
في يوم 4 مايو، تم القبض على 2010 أبو عبد الله الشافعي من قبل القوات الأمريكية في بغداد. وفي 15 ديسمبر 2011 أعلن أنصار الإسلام أمير جديد، الشيخ أبو هاشم إبراهيم.