Berdirinya INKAI berawal dari rapat yang dilaksanakan di Jalan Matraman Dalam I No. 1 – Jakarta Pusat pada tanggal 15 April 1971 yang akhirnya diputuskan mendirikan Perguruan INKAI.

Dalam rapat yang berlangsung dari mulai pukul 09.00 hingga 18.00 WIB tersebut dihadiri oleh beberapa karateka eks PORKI (Persatuan Olah Raga Karate Indonesia ) seperti, Sabeth Muchsin, Nico A. Lumenta (Tuan Rumah), Abdul Latief, Sori Tua Hutagalung (alm.), Albert L. Tobing (alm), Wono Sarono, A.Sy. Siregar (alm) dan salah satu karateka INKAI sebagai pembuat dan menggambar lambang INKAI bernama Harsono Rubio (alm). Dalam Rapat tersebut disetujui bahwa sebagai Ketua Umum INKAI Pusat pertama adalah Letnan Jendral G.H. Mantik dan sebagai ketua Dewan Guru INKAI Pertama adalah Sabeth Muchsin.

Dalam rapat tersebut, juga dibahas tentang lambang INKAI yang digambar oleh Harsono. Harsono Rubio yang kemudian dikoreksi dan dikritisi oleh tujuh orang anggota dewan guru INKAI tersebut. Belakangan Harsono Rubio menyatakan bahwa lambang INKAI memang dibuat dan digambar oleh beliau, tetapi beliau mengatakan tidak akan mengklaim bahwa beliaulah yang menciptakan lambang INKAI tersebut, melainkan adalah hasil pembahasan bersama antara anggota rapat yang hadir dan mengatakan bahwa INKAI adalah milik bersama. Dalam sejarahnya INKAI telah banyak melalui rintangan dan cobaan, namun itu tidak membuat INKAI sebagai perguruan karate tidak patah arang, pada perjalanan sejarahnya INKAI telah banyak mencetak segudang prestasi bahkan telah mampu melahirkan juara – juara dunia karate.

Tanggal 25 Mei 1971, INKAI resmi berdiri sebagai perguruan anggota FORKI dan oleh PB FORKI, INKAI ditunjuk mewakili Indonesia mengikuti kejuaraan karate WUKO 1 di Jepang. Dalam perkembangannya INKAI di Indonesia mengalami perkembangan yang begitu pesat ini terbukti bahwa di setiap pelosok tanah air terdapat Cabang-Cabang dan Ranting-Ranting dari perguruan INKAI. Saat ini INKAI berada di 34 Provinsi di seluruh Tanah Air, dengan jumlah karateka penyandang Sabuk Hitam mencapai lebih dari 22.000 orang dan nomor keanggotaan tingkatan KYU (sabuk putih s.d coklat) mencapat 2 juta orang yang mana terdiri dari kalangan Pelajar, Mahasiswa, TNI/POLRI, ASN, Perbankan, BUMN, BUMD, Swasta serta Affiliasi Pemerintah Daerah dan lain sebagainya.