প্রথমে রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লাম যে কাজটি আরম্ভ করেন, তা হলো, মসজিদে নববীর নির্মাণ কাজ। তিনি সবাইকে এ কাজে অংশ গ্রহণ করার সুযোগ দেন, যার ফলে সমস্ত মুসলিমগণ এ কাজে অংশ গ্রহণ করেন। তাদের নেতৃত্বে থাকেন তাদের ইমাম মুহাম্মাদুর রাসূলুল্লাহ। এটি ছিল পরস্পর সহযোগিতামূলক ও সম্মিলিতভাবে সম্পাদিত ইসলামের সর্ব প্রথম কাজ। এ কাজের মাধ্যমে সবার মধ্যে ঐক্য ও ভ্রাতৃত্ব তৈরি হয় এবং মুসলিমদের কাজের জন্য সাধারণ লক্ষ্য নির্ধারণ হয়। রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লাম মদিনায় আগমনের পূর্বে মদিনার প্রতিটি গোত্রের জন্য একটি নির্ধারিত স্থান ছিল, তাতে তারা একত্র হয়ে গান-বাজনা, কিচ্ছ-কাহিনী, কবিতা পাঠ ইত্যাদির অনুষ্ঠান করত। তাদের এক গোত্র অপর গোত্রের লোকদের নিকট গিয়ে বসত না এবং তাদের অনুষ্ঠানে যোগ দিত না। এতে স্পষ্ট হয় যে, তাদের মধ্যে মত পার্থক্য ও দ্বন্ধ কতই না তীব্র ছিল। কিন্তু রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লাম যখন মসজিদ বানালেন, তা সমগ্র মুসলিমদের জন্য একটি মিলন কেন্দ্রে পরিণত হলো। তারা সবাই সব ধরনের মতপার্থক্য ভুলে গিয়ে একই সময়ে এক সাথে মসজিদে একত্র হত। এ মসজিদেই তারা কোনো কিছু জানার জন্য রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লামের নিকট জিজ্ঞাসা করত, তাদের যাবতীয় সমস্যার সমাধান এখান থেকেই সমাধান করতে চেষ্টা করত। আর রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লাম তাদের সবাইকে মসজিদে একত্র করে ইসলাম ও ঈমানের তা‘লীম দিতেন, সঠিক পথ দেখাতেন এবং সময় উপযোগী দিক নির্দেশনা দিয়ে তাদের ধন্য করতেন।( [দেখুন: সহীহ বুখারী, কিতাবু মানাকিবিল আনসার পরিচ্ছেদ: রাসূল সাল্লাল্লাহু ‘আলাইহি ওয়াসাল্লাম ও তাঁর সাহাবীদের হিজরত, হাদীস নং ৩৯০৬, ২৪০, ২৩৯/৭।])

রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লামের অক্লান্ত পরিশ্রমের ফলে ধীরে ধীরে মদিনাবাসী একটি ফ্লাট ফর্মে আসতে আরম্ভ করে, তাদের মধ্যে মিল, মহব্বত ও ভালোবাসার সু-বাতাস বইতে শুরু করে এবং তারা ঐক্যের বন্ধনে একত্র হতে থাকে। বিভিন্ন গোত্রের লোকেরা তাদের মধ্যে সুদীর্ঘ কালের জট বাধা ভেদাভেদ ও শত্রুতা ভুলতে থাকে, তৈরি হয় তাদের মধ্যে মিল-মুহব্বত ও মৈত্রী। আর তারা অতীতকে ভুলে চলে আসে একে অপরের কাছাকাছি। তাদের শত্রুতা পরিণত হয় বন্ধুত্বে, তাদের অনৈক্য ও বিবাদ রূপ নেয় ঐক্য ও মমতায়। রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লামের ঐকান্তিক প্রচেষ্টায় মদিনায় কোনো প্রকার বিভক্তি ও দলাদলি আর অবশিষ্ট থাকল না। জাহেলিয়্যাতের সব অন্ধকার আলোর সন্ধান পেতে আরম্ভ করল। বরং তারা সবাই অতীতকে পিছনে রেখে এখন ঐক্যের বন্ধনে আবদ্ধ হলো। তারা আর কোনো উপদলে বিভক্ত না থেকে একজনের নেতৃত্বে একত্রিত হলো। আর তিনি হলেন, মানবতার অগ্রদূত রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লাম, যিনি তার প্রভুর পক্ষ থেকে আদেশ নিষেধ গ্রহণ করে উম্মতদের শিক্ষা দেওয়ার দায়িত্ব লাভ করেন। রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লামের তা‘লীম-তরবিয়ত ও শিক্ষা-দীক্ষা দ্বারা মুসলিমগণ এখন একই কাতারে অবস্থান করছে। তাদের মধ্যে এখন আর কোনো দলাদলি ও রেশারেশি নেই। রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লামের তা‘লীমের বদৌলতে তাদের অন্তরে একে অপরের প্রতি সহানুভূতি ও সহযোগিতার মানসিকতা তৈরি হয়। তাদের মধ্যে কোনো প্রকার হিংসা-বিদ্বেষে ও পরশ্রিকাতরতা অবশিষ্ট রইল না, তাদের ভ্রাতৃত্বের বন্ধন সুদৃঢ় হলো, ঐক্য মজবুত হলো এবং তারা একে অপরের সহযোগী ও হিতাকাঙ্ক্ষী হিসেবে পরিণত হলো। [দেখুন: মাহমুদ শাকেরের তারিখুল ইসলাম ১৬২/২; আর-রাহীকুল মাখতুম, ১৭৯।]

মসজিদ শুধু মাত্র পাঁচ ওয়াক্ত সালাত আদায়ের স্থান ছিল না, বরং মসজিদ হলো, মুসলিম উম্মাহর যাবতীয় সমস্যা সমাধানের মূল কেন্দ্র। শিক্ষা, দীক্ষাসহ সবকিছুই এখান থেকেই পরিচালিত হত। সবাই এখানে এসে একত্র হত যাতে তাদের মধ্যে দীর্ঘদিনের পুরনো যত ধরনের বিভেদ ছিল তা আর না থাকে, এখানে এসে তারা তাদের অতীতের সব কিছু ভুলে যায় এবং দীর্ঘকাল থেকে লালিত জাহিলি যুগে তাদের সব ধরনের বিরোধ এখানে আসলে ধূলিসাৎ হয়ে যায়। মসজিদই হলো, সমস্ত কার্যক্রম চালানোর প্রশাসনিক ভবন এবং সব ধরনের ফরমান জারির একমাত্র প্রাণ কেন্দ্র। এখানেই সব ধরনের বুদ্ধি পরামর্শ করা হত, সিদ্ধান্ত গ্রহণ করা হত এবং এখান থেকেই তা প্রয়োগ ও বাস্তবায়ন করা হত।

এ কারণে রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লাম যেখানেই অবস্থান করতেন, তার প্রথম কাজ ছিল মসজিদ নির্মাণ করা, যাতে মুমিনগণ এক জায়গায় একত্র হতে পারে। হিজরতের প্রাক্কালে রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লাম যেখানে প্রথম অবস্থান করেন, সেখানেও একটি মসজিদ নির্মাণ করেন, যে মসজিদটি বর্তমানে মসজিদে কুবা নামে পরিচিত। তারপর কুবা ও মদিনার মাঝামাঝি বনী সালেম ইবন আওফে তিনি অবস্থান করেন। সেখানে তিনি জুমু‘আর সালাত আদায় করে মসজিদের সূচনা করেন। মদিনায় পৌঁছে রাসূল সাল্লাল্লাহু আলাইহি ওয়াসাল্লাম কোনো প্রকার কালক্ষেপন না করে অতি তাড়াতাড়ি সর্বপ্রথম মসজিদ নির্মাণের কাজে হাত দেন। [দেখুন: সীরাতে নববীয়াহ শিক্ষা ও উপদেশ, পৃ. ৭৪; ফিকহুস সীরাহ ১৮৯; হাযাল হাবীবু ইয়া মুহিব্ব: ১৮০।]০