社伝によると、当社は天平２年(730)に出雲氏族の真神田臣（まかんだおみ）により武蔵国豊島郡芝崎村―現在の東京都千代田区大手町・将門塚周辺）に創建されました。
その後、将門塚周辺で天変地異が頻発し、将門公の御神威として人々を恐れさせたため、時宗の遊行僧・真教上人が手厚く御霊をお慰めして、さらに延慶２年（1309）当社に奉祀いたしました。戦国時代になると、太田道灌や北条氏綱といった名立たる武将によって手厚く崇敬されました。
慶長５年（1600）、天下分け目の関ヶ原の戦いが起こると、当社では徳川家康公が合戦に臨む際、戦勝のご祈祷を行ないました。すると、９月15日、神田祭の日に見事に勝利し天下統一を果たされました。これ以降、徳川将軍家より縁起の良い祭礼として絶やすことなく執り行うよう命ぜられました。

大正12年（1923）、未曾有の関東大震災により江戸時代後期を代表する社殿が焼失してしまいましたが、氏子崇敬者をはじめ東京の人々により、はやくも復興が計画され、昭和９年に当時としては画期的な鉄骨鉄筋コンクリート、総朱漆塗の社殿が再建されました。
昭和10年代後半より、日本は第二次世界大戦へと突入し東京は大空襲により一面焼け野原となってしまいました。当社の境内も多くの建造物がほとんど烏有に帰しましたが、耐火構造の社殿のみわずかな損傷のみで戦災を耐えぬきました。