انضم عبد الرحمن للجماعة الإسلامية وهو طالب، حيث بدأ في نشر أنشطة الجماعة، داخل الحرم الجامعي، وعلى إثر ذلك ومع توسع أنشطته تم إيقافه عن العمل في الكلية عام 1969، وفي أواخر تلك السنة رفعت عنه العقوبة وتم نقله من الجامعة من معيد بها إلى إدارة الأزهر بدون عمل.

تم اعتقاله في 13 أكتوبر 1970 بعد وفاة جمال عبد الناصر، بعد الإفراج عنه، واستمر في نشاطاته، حيث تمكن من الحصول على الـ "دكتوراه"، وكان موضوعها؛ "موقف القرآن من خصومه كما تصوره سورة التوبة"، وحصل على "رسالة العالمية" بتقدير امتياز مع مرتبة الشرف، حتى تم منعه من التعيين.

 استمر المنع حتى صيف 1973 حيث استدعته الجامعة وأخبرته عن وجود وظائف شاغرة بكلية البنات وأصول الدين، واختار أسيوط، ومكث بالكلية أربع سنوات حتى 1977.

واصل عبد الرحمن نشاطه الدعوي متنقلاً بين المحافظات مشاركاً في المؤتمرات والندوات، عارضاً فكرة الجماعة محمسا الشباب للجهاد والخروج على نظام الحكم؛ مما أدى إلى اعتقاله العديد من المرات وتحديد إقامته بمنزله بالفيوم بعد أن اتهم بالتجمهر وتحريض المصلين على التجمهر بعد صلاة الجمعة، لكن محكمة أمن الدولة برأته أيضاً مما نسب إليه وحفظت القضية، وأخيراً استطاع السفر إلى أمريكا ليقيم في ولاية نيوجرسي حيث يكثر أتباعه، ومما ينسب إليه: الفتيا بقتل فرج فودة الكاتب العلماني، وضرب حركة السياحة في مصر وتفجير مركز التجارة العالمي، الذي حكم عليه بالسجن في أمريكا بسببه.

كان للجماعة العديد من المواقف السياسية برزت في موقفها من معاهدة كامب ديفيد وزيارة الشاه وبعض وزراء الكيان الصهيوني لمصر، فأقامت المؤتمرات والمسيرات ووزعت المنشورات خارج أسوار الجامعة للتنديد بذلك والمطالبة بتطبيق الشريعة الإسلامية؛ مما أدى إلى تدخل الحكومة في سياسات الاتحادات الطلابية، فأصدرت لائحة جديدة لاتحادات الطلاب تعرف بلائحة 1979م التي قيدت الحركة الطلابية. 

وازداد الضغط الإعلامي والأمني على قيادات الجماعة واشتدت مطاردتهم في جامعات الصعيد بوجه خاص، حيث تم اعتقال بعض قيادتهم وفصلهم من الجامعة.

في عام 1979م التقى كرم زهدي- عضو مجلس شورى الجماعة- بالمهندس محمد عبد السلام فرج العضو في أحد فصائل تنظيم الجهاد وعضو مجلس شورى الجماعة فيما بعد وصاحب كتاب الفريضة الغائبة الذي عرض على كرم زهدي فكر الجهاد، وأن الحاكم قد كفر، وخرج عن الملة فوجب الخروج عليه وخلعه وتغيير النظام، ثم عرض عليه فكرة اشتراكهم مع التنظيم للتخطيط لإقامة الدولة الإسلامية.

عرض كرم زهدي الفكرة على مجلس شورى الجماعة في صعيد مصر الذي كان يرأسه آنذاك ناجح إبراهيم، فوافق المجلس على أن يكون هناك مجلس شورى عام ومجلس شورى القاهرة، وعلى أن يتولى إمارة الجماعة أحد العلماء العاملين الذين لهم مواقفهم الصلبة.

تم اختيار عمر عبد الرحمن أميرًا للجماعة، كما تم إقرار تشكيل الجناح العسكري وجهاز الدعوة والبحث العلمي والتجنيد وتطبيق القوانين الإسلامية وكذلك جهاز الدعم اللازم للحركة في مجالاته المتعددة، ومن هذه اللحظة انفصلت الجماعة عن توجهات التيار السلفي في الدعوة بشكل عام تحت مسمى الجماعة الإسلامية.

في عام 1980 أعير إلى كلية البنات بالرياض حتى سنة 1980، ثم عاد إلى مصر، في سبتمبر 1981 تم اعتقاله ضمن قرارات التحفظ، فتمكن من الهرب، حتى تم القبض عليه في أكتوبر 1981 وتمت محاكمته في قضية اغتيال السادات أمام المحكمة العسكرية ومحكمة أمن الدولة العليا، وحصل على البراءة في القضيتين وخرج من المعتقل في 2 أكتوبر 1984.

دخل الولايات المتحدة في يوليو عام 1990 عن طريق المملكة العربية السعودية، وبيشاور، والسودان، ليقيم في ولاية نيوجرسي.

 أصدر فتوى في أمريكا أعلن فيها الشرعية لسرقة البنوك وقتل اليهود في الولايات المتحدة، ودعا المسلمين إلى الهجوم على الغرب وقطع وسائل النقل في بلدانهم، تمزيقها، وتدمير اقتصادها، وحرق شركاتهم، والقضاء على مصالحهم، وإغراق سفنهم، وإسقاط طائراتهم.

اعتقل هناك بتهمة التورط في تفجيرات نيويورك عام 1993، وأعلن تأييده لمبادرة وقف العنف التي أعلنتها الجماعة بمصر عام 1997، واتهم عبد الرحمن بأنه زعيم من آل الجماعة الإسلامية، وهي حركة إسلامية متشددة في مصر وتعتبر منظمة إرهابية من قِبل الولايات المتحدة والحكومات المصرية. 

واتهم بالتحريض على تفجير مركز التجارة العالمي، والدليل الوحيد هي معلومات مخبر مصري من جهاز أمن الدولة، حيث لعبت وقتها الحكومة المصرية دوراً في إثبات التهم عليه، ورفضت تسلمه رغم عرض واشنطن ذلك عليها أكثر من مرة.

 وهذه المجموعة مسئولة عن الكثير من أعمال العنف، بما في ذلك مذبحة الأقصر نوفمبر 1997، التي قُتل فيها 58 سائحًا أجنبيًا وأربعة مصريين.

 خلال عام 1970، وضعت عبد الرحمن علاقات وثيقة مع اثنين من المنظمات المصرية الأكثر تشددًا وهما منظمة الجهاد الإسلامي المصرية والجماعة الإسلامية.

وفي 1 أكتوبر 1995، أدين بتهمة التآمر لإحداث فتنة، وفي عام 1996 حكم عليه بالسجن مدى الحياة في السجن.

صرحت دولة قطر منذ سابق أنها مستعدة لاستضافة عمر عبد الرحمن، كونه ضريرا وعمره يتجاوز السبعين عاماً، ومصاب بعدة أمراض، من بينها سرطان البنكرياس والسكري، والروماتيزم والصداع المزمن، وأمراض القلب والضغط وعدم القدرة على الحركة إلا علي كرسي متحرك، وفي حبس انفرادي بلا مرافق، مقطوعة اتصالاته الخارجية، جعل المجتمع المدني يتدخل للوقوف معه، وكانت من بينهم المحامية الناشطة الحقوقية إلين ستيورات التي كانت تدافع عنه، والتي تم سجنها بتهمة مساعدته وتوصيل رسائله إلى أسرته وتلاميذه. 

وكانت كشفت أسرته، عن تدخل أمير قطر في وساطة رسمية من أجل الإفراج عنه، حيث قال محمد نجل عمر عبدالرحمن: إن يوسف القرضاوي، رئيس الاتحاد العالمي لعلماء المسلمين احتضن هذه الوساطة وعرضها، منذ أيام، على أمير قطر، الذي أبدى استعداده للوساطة رسمياً، بالتعاون مع شخصيتين أخريين أحدهما مصري والآخر قطري.

وأضاف أن القرضاوي سبق أن قام بوساطة وتحركت قضية عبدالرحمن نحو الانفراج، ولكن الحكومة المصرية أفشلت هذه الوساطة وأنهتها في مهدها؛ مما دفع الأسرة لمواصلة جهودها من خلال تكرار وساطة القرضاوي مرة أخرى، ولفت إلى أن القرضاوي أبدى استعداداً لتجديد وساطته مرة أخرى بعد سقوط النظام المصري.

كان عصام دربالة، عضو مجلس شورى الجماعة الإسلامية آنذاك قال: إن الجماعة تنظم عدداً من الفعاليات على المستويين المحلي والدولي من خلال بعض الطلبات والمناشدات لتكوين رأي عام ضاغط للإفراج عن زعيم الجماعة.

وكشف عن رفض الجماعة الإسلامية عروضاً كثيرة من القاعدة بالتدخل من خلال عمليات عسكرية للإفراج عنه؛ لأن الجماعة ترفض أي عمليات عسكرية ولا تدعو لها مهما كان مبررها.

عقب اندلاع الثورة المصرية في 25 يناير 2011، كان عبد الرحمن يقضي عقوبة السجن مدى الحياة بولاية كلورادو، ومنعت آنذاك السلطات الأمريكية، الاتصالات عنه خشية تأثيره على الثورة المصرية.

وذكرت مصادر أنّ السلطات الأمريكية أبلغت أسرة عبدالرحمن بمنعه عن استخدام الهاتف المحمول أو أي وسيلة اتصالات أخرى خلال الشهر والنصف عقب الثورة، خشية تأثيره على الثورة المصرية وإرساله رسالة صوتية للثوار؛ مما قد يجعلها "ثورة إسلامية" وهو ما تخشاه واشنطن. 

وفي تظاهرة حاشدة تحمل اسم "جمعة النصر" في ميدان التحرير، اصطف عشرات من أبناء "الجماعة الإسلامية" رافعين لافتات للمطالبة بإطلاق عبود وطارق الزمر، وكذلك للطلب من الولايات المتحدة تسليم عمر عبدالرحمن.

وشارك أفراد من عائلته في ميدان التحرير ورفعوا لافتات كُتب عليها "نداء إلى المجلس الأعلى للقوات المسلحة، أنقذوا العالم الجليل الدكتور عمر عبدالرحمن من غياهب السجون".

وقال نجله عبدالله: إنّ والده مريض وكان النظام السابق أبلغنا عدم ممانعته في تسلمه من الولايات المتحدة، لكن الأمر لم يتم. ونناشد السلطات الحالية الطلب من الولايات المتحدة تسليم عمر عبدالرحمن؛ لما سيكون لذلك الأمر من تطوير للعلاقة بين أمريكا وأبناء الحركة الإسلامية، معربًا عن تخوفه من أن وفاة الشيخ في السجون الأمريكية "سيزيد الهوة" بين الحركة الإسلامية وأمريكا.

عقب تولي الرئيس السابق المعزول محمد مرسي حكم مصر، أرسل عبد الرحمن من محبسه في أمريكا رسالة تهنئة للشعب المصري، على فوز جماعة الإخوان بحكم مصر، كما أعلنت الجماعة الإسلامية أنها تلقت تعهدا منه بالسعي للإفراج عن عمر عبد الرحمن من السجون الأمريكية بتقدير بالغ.

وأضافت الجماعة، أنه لا صحة لما ورد عن سمر فرج فودة من أن عمر قتل والدها بالإفتاء بذلك؛ لأنه لا علاقة له بهذه القضية نهائيًا وكان حينها في أمريكا وتم القبض على مرتكبي الحادث في وقتها وتمت محاكمتهم وأعدم عدد منهم.

وأكدت الجماعة أنها تعتقد أن موقف المعارضين لهذا التعهد من بعض الصحفيين الأمريكيين وبعض أعضاء الكونجرس مبني على معلومات مغلوطة يتداولها البعض على خلاف الحقيقة، موضحة أن عمر عبد الرحمن تم الزج به في السجن في أمريكا على خلفية معارضته المعروفة لنظام حسني مبارك، وأنه لم يحاكم في أمريكا على خلفية قتل بعض الأمريكيين في عملية برج مركز التجارة العالمي، ولكن لاتهامه بمحاولة اغتيال الرئيس السابق في مقر الأمم المتحدة.

وأوضحت الجماعة، أنه مما يدل على تلفيق هذه القضية له ما أعلنه فريدريك وايت هورست- العميل الخاص بمكتب التحقيقات الفيدرالي، في حديث صحفي عندما أقر بوقوع ضغوط شديدة عليه من المدعي العام الأمريكي في قضية الدكتور عمر عبد الرحمن لإهمال الإدلاء بالأدلة التي تبرئ عمر.

له مجموعة من المصنفات منها "موقف القرآن من خصومه كما تصوره سورة التوبة"، وهي رسالة الدكتوراه "كلمة حق"، و"تفسير سورة النجم"، له مجموعة من المقالات "قولوا للظالم لا"، "الشريعة الإسلامية شريعة كاملة"، "وصية إلى أمة الإسلام"، "نظرات في سورة غافر"، له مجموعة من التسجيلات الصوتية منها القرآن الكريم كاملا، صحيح البخاري، تفسير سورة غافر، الدعوة والعقيدة في سورة الكهف، الدين الإسلامي دين شامل، مجموعة من المحاضرات الدعوية في أوروبا وأمريكا.