ولد الشيخ عبد الرحيم القنائى؛ في مدينة ترغاى بإقليم سبتة في المغرب الأقصى سنة 521 هـ وقد نشأ هناك وترعرع؛ فقد أمضى طفولته في تحصيل العلم في جامع ترغاى الكبير على يد والده ؛كما تتلمذ على كبار العلماء فلم يكد يصل الثامنة من عمره حتى كان قد حفظ القرآن الكريم ؛وجوده تلاوة وفهما.

وتوفى والده في الثامنة عشرة من عمره؛ وكان يحب والده حبا عميقا ويرى فيه المثل الأعلى والقدوة الحسنة، لذلك فقد تأثرت صحته وساءت حالته النفسية بسبب وفاته فمرض مرضا شديدا حتى أصبح شفاؤه ميئوسا منه ، مما جعل والدته العربية تفكر في إرساله إلى أخواله في دمشق.

وفعلا رحل عبد الرحيم إلى دمشق؛ حيث التقى هناك بأخواله وأهل والدته الذين أكرموا؛ وسهلوا له مهمة الاتصال بكبار العلماء والفقهاء هناك. 

وقد أمضى في دمشق سنتين نهل فيهما من علوم المشارقة كما تفقه في علوم المغاربة، ثم شده الحنين إلى العودة إلى مسقط رأسه فشد رحاله إلى ترغاى حيث أهله وعشيرته وكان قد بلغ في ذلك الوقت العشرين من عمره.

وقد كان لامتزاج الثقافتين الشرقية والغربية؛ أثرهما في نفس عبد الرحيم فقد خلقت منه شخصية مصقولة؛ متكاملة رغم حداثة سنه.

وقد أمضى عبد الرحيم خمس سنوات في ترغاى يقوم بمهمة الوعظ والإرشاد عن واجبات المسلم نحو ربه ومجتمعه بأسلوب ساحر أخاذ أبكى المستمعين تأثرا وإعجابا. 

وفى تلك الأثناء توفيت والدته، الأمر الذى جعله بالإضافة إلى الأسباب السابقة، أن يفكر في الرحيل إلى المشرق، فرحل من ترغاى ميمنا وجهه شطر الحجاز لتأدية فريضة الحج،

 وفى طريقه مر بمدينة الإسكندرية والقاهرة فتركا في نفسه أثرا لم تمحه رحلته المقدسة إلى البلاد الحجازية. 

وبقى في البلاد الحجازية تسع سنوات قضاها متنقلا بين مكة والمدينة؛ ينهل من علم وفضل فقهائها وعلمائها تارة وعابدا معتكفا بالبيت الحرام ؛أو بمسجد المدينة تارة أخرى أو متنقلا .

يسعى في مناكبها للاتجار في بعض المحاصيل سعيا وراء كسب الرزق؛ حتى يستطيع التفرغ للعبادة والعلم؛ دون أن يمد يده للاستجداء أو أن يكون عالة على أحد. 

حتى إذا كان موسم الحج العاشر، التقى بمكة بأحد الشيوخ الأتقياء الورعين القادمين من مدينة قوص عاصمة صعيد مصر ؛في ذلك الوقت وهو الشيخ مجد الدين القشيري.

 ودار بينهما حديث فتعارف فألفه وأصر بعدها القشيرى على أن يصحبه شيخنا عبد الرحيم إلى مصر؛ وإلى قوص وقنا بالذات حيث أن مجتمعها متعطش إلى علم وفضل أمثاله من أولياء الله الصالحين.

 وأخيرا وافق عبد الرحيم على الرحيل إلى مصر فجاء بصحبة الشيخ مجد الدين القشيرى؛ الذى كان يعمل حينئذ إماما بالمسجد العمرى بقوص .

وكانت له مكانته المرموقة بين تلاميذه ومريديه؛ وكان ذلك في عهد الخليفة العاضد بالله آخر خلفاء الدولة الفاطمية.

ولكن عبد الرحيم لم يرغب البقاء في قوص وفضل الانتقال لمدينة قنا؛ تنفيذا لرؤى عديدة أخذت تلح عليه في الذهاب إلى قنا والإقامة بها ؛ولأن قوص ليست في حاجة شديدة إليه فقد كانت وقتها غاصة بالعلماء والفقهاء وكبار المفكرين من أهل الدنيا والدين.

وبعد أن أمضى عبد الرحيم ثلاثة أيام بقوص رحل إلى قنا ؛حيث التقى بالشيخ القرشى أحد أوليائها الصالحين فانعقدت أواصر الألفة بينهما ؛وتحابا وتزاملا في الله. 

وقد ساعد جو قنا الهادئ الشيخ عبد الرحيم؛ على حياة التأمل فأمضى عامين كاملين يتعبد ويدرس ويختلى بنفسه؛ ليتعرف على خباياها ولا يقطع عليه هذا الاختلاء وذاك التعبد إلا خروجه للتجارة التى يعتمد عليها في معاشه، 

فقد كان رحمه الله قد اتخذ لنفسه منهاجا لا يحيد عنه طوال حياته، وهو العمل بيده حتى يكسب قوته؛ وقد درت عليه التجارة في قنا ربحا وفيرا ساعدته على الإنفاق على فقراء الطلاب والراغبين في العلم ؛وغير القادرين من أبناء المسلمين. 

وقد كانت لسيدى عبد الرحيم مدرسته الصوفية الخاصة التى تسمح للطرق الصوفية الأخرى؛ بالأخذ منها من غير الخروج على طرقها، إذ كان يقول: إن الدين الإسلامى، دين علم وإخلاص، فمن ترك واحدة فقد ضل الطريق.

 وقد أفاض في شرح نظريته هذه في كتاباته إذ كان يهتم- رضى الله عنه - دائما بالحديث عن العلم، إيمانا منه بأن العلم دعوة سماوية ومتممة للعمل. 

وقد ترك الشيخ عبد الرحيم الكثير من المؤلفات منها تفسير القرآن الكريم؛ ورسالة في الزواج وكتاب الأصفياء وغيرها كثير. 

ولما تولى الأيوبيون مقاليد الأمور في مصر، عملت جاهدة على القضاء على المذهب الشيعى السائد في عهد الدولة الفاطمية ؛ونشرت المذهب السنى وكانت وسيلتها في ذلك تولية شئون البلاد ؛وحكمها لأصحاب المذهب السنى وخاصة المذهب الشافعى، مذهب الأيوبيين الخاص.

 فقد أصدر الملك العزيز بالله ابن صلاح الدين الأيوبى؛ قرارا بتعيين الشيخ عبد الرحيم شيخا لمدينة قنا؛ ومنذ ذلك التاريخ أصبح شيخنا يعرف بالقنائى ؛حتى توفى سنة 592 هجرية بعد أن عاش 72 عاما.