Berangkat dari kepedulian terhadap nasib bangsa, tiga tokoh K.H. Abdul Halim, K.H. Ahmad Sanusi, dan Mr. R. Syamsuddin berjuang melepaskan bangsa Indonesia dari belenggu penjajahan, ketertindasan, kebodohan, kemiskinan, dan politik belah bambu (devide et empire) yang dilakukan kaum penjajah. Maka dari itu mereka membentuk perhimpunan yang diberi nama Persatuan Ummat Islam (PUI) dan tanggal 21 Desember 1917 diperingati sebagai Hari Lahir PUI.
PUI dalam bentuknya kini adalah organisasi keagamaan kemasyarakatan yang bermula, berasal, dan berkembang dari dua perhimpunan.
Pertama, Jam’iyyah Hajatoel Qoeloeb yang berdiri di Majalengka pada Senin, tanggal 17 Juli 1911 M/ 20 Rajab 1329 H sebagai perkumpulan. Tujuannya, mewadahi kegiatan taklim agama Islam yang sudah berlangsung sebelumnya dengan nama Madjlisoel ‘Ilmi, serta program pendidikan melalui madrasah I’anat al-Muta’allimin dan kegiatan sosial ekonomi melalui koperasi dan usaha pertanian.
Jam’iyah Hajatoel Qoeloeb melalui rapat pengurus pada Selasa 16 Mei 1916 M/13 Rajab 1334 H, diubah menjadi Jam’iyah I’anat al-Muta’allimin. Namun, ketika diurus izinnya ke pemerintah Hindia Belanda, atas saran Haji Oemar Said Tjokroaminoto, namanya diubah menjadi Persjarikatan Oelama (PO) yang ditetapkan melalui besluit pemerintah pada Jum’at 21 Desember 1917 M/ 06 Rabiul Awwal 1336 H (Gouvernements Besluit No. 43 (ANRI), besluit ini diperbarui pada Sabtu, 19 Januari 1924 M/ 12 Jumadil Akhir 1342 H dan pada Rabu 18 Agustus 1937 M/11 Jumadil Akhir 1356 H. Tanggal pengesahan PO dari pemerintah yaitu 21 Desember 1917 M/ 06 Rabiul Awwal 1336 H kemudian ditetapkan sebagai HARI LAHIR PUI oleh Sidang Majelis Syura PUI. Kegiatan utama PO saat itu adalah pendidikan, berupa Madrasah Mu’allimin yang didirikannya pada 1923 M/1342 H, kegiatan dakwah, sosial ekonomi, serta dilengkapi sejumlah organisasi otonom.
Kemudian organisasi ini berubah nama menjadi Perikatan Oemmat Islam (POI) pada Senin, 15 Februari 1943 M/ 10 Safar 1362 H, dengan tujuan mengajak masyarakat kembali pada tuntunan Ilahi dan mengurangi pertentangan di antara umat Islam sebagai akibat politik devide et empira pemerintah Hindia Belanda.
Kedua, Al-Ittihadijatoel Islamijjah (AII) yang berdiri pada Sabtu, 21 November 1931 M/11 Rajab 1350 H di Batavia Centrum (Jakarta dari tahun 1931-1934) dan selanjutnya berpusat di Sukabumi (1934-1952).
Kemudian, namanya diubah menjadi Persatuan Oemmat Islam Indonesia (POII) pada Selasa 01 Februari 1944 M/06 Shafar 1363 H.
Perhimpunan ini dibentuk asal mulanya untuk menjawab kegundahan hati dan pemikiran para alim ulama Priangan Barat yang mendapat serangan pemikiran secara bertubi-tubi dan membabi buta dari kelompok puritan Majelis Ahli Sunnah Cimalame (MASC) Garut yang disinyalir merupakan salah satu bagian strategi Pemerintah Kolonial Belanda dalam memecah belah ummat Islam dari dalam dengan politik devide et empira.
Selanjutnya, dengan tujuan menggalang persatuan di kalangan bangsa Indonesia dan untuk mengurangi pertentangan di antara umat Islam, kedua perhimpunan tersebut selanjutnya mengadakan Fusi di Bogor pada Sabtu, 09 Rajab 1371 Hijriyah bertepatan dengan 5 April 1952 Miladiyah. Organisasi ini menjadi salah satu alat perjuangan bagi ummat untuk melakukan berbagai amaliyah dalam kerangka ikut serta mencerdaskan kehidupan berbangsa dan bernegara, mensejahtera-kan kehidupan masyarakat dan mewujudkan serta menjaga keutuhan Negara Kesatuan Republik Republik Indonesia.
Fusi kedua organisasi keagamaan dan kemasyarakatan tersebut dimungkinkan karena ketiga pendirinya merupakan tokoh dan bapak bangsa. KH. Abdul Halim, KH. Ahmad Sanusi, dan Mr. R. Syamsuddin terpilih sebagai wakil rakyat dalam Badan Penyelidik Usaha-usaha Persiapan Kemerdekaan Indonesia (BPUPKI).
Mereka dianugerahi Bintang Maha Putra Utama melalui Surat Keputusan Presiden No.048/TK/Tahun 1992 tertanggal 12 Agustus 1992. Pada 10 November 2008, KH. Abdul Halim dianugerahi gelar Pahlawan Nasional oleh Presiden Republik Indonesia dan menyusul pada 10 Nobember 2022, KH. Ahmad Sanusi juga dianugerahi gelar Pahlawan Nasional.
Perubahan nama organisasi lumrah terjadi pada masa perjuangan, sebagaimana Tentara Nasional Indonesia (TNI) memperingati HUT/ Hari Lahir TNI setiap tanggal 5 Oktober 1945, yaitu saat pemerintah membentuk Tentara Keamanan Rakyat (TKR) – yang sebelumnya dirintis bernama Badan Keamanan Rakyat (BKR) – lalu TKR berganti nama menjadi Tentara Keselamatan Rakyat, lalu berubah lagi menjadi Tentara Republik Indonesia, hingga akhirnya berubah menjadi TNI.
Setiap tahunnya, jutaan warga dan jamaah PUI memperingati 21 Desember 1917 sebagai Hari Lahir PUI, yaitu saat Persjarikatan Oelama (PO) mendapat pengesahan dari pemerintah (Gouvernements Besluit No. 43 Tahun 1917).