目白不動の来歴を見ていると、湯殿山と切っても切れない関係にあることがわかる。しかし、それは「五色不動＝天海」説にとっては致命的な関係なのだ。なぜなら、湯殿山は天海の「敵」だからである。
　湯殿山は、月山・羽黒山とともに出羽三山の一つで、修験道を中心とした山岳信仰の場であった。現在の湯殿山は出羽三山の奥の院として位置づけられているが、この出羽三山にも紆余曲折があった。

　湯殿山の経歴については、村山修一著『修験の世界』（人文書院）に詳しい。まず、その発端についてはこう書かれている。

　さて湯殿山の開創については別当寺である真言四か寺で、むかし淳和天皇の時代、天長年間（九世紀初）弘法大師が諸国行脚の際、庄内平野に来て赤川の上流から大日如来の五字の真言が流れてくるのを見、その源流をたずねて湯殿山の霊場にたどりつき開発し、川はそれから梵字川と名づけられたとしている。平安時代は羽黒とは別個の信仰の山であり、とくに大日寺では応永二年（一三九五）道智和尚が開いたと伝えている。

　しかし、その後、湯殿山は出羽三山の一つとしての信仰を集めることになった。その出羽三山も、江戸時代に入ってからまた分裂することになったのである。

近世最も勢力のあった羽黒山は寛永十六年（一六三九）以来、天台に属し、岩根沢口の別当坊日月寺と肘折口の別当坊阿吽院を支配し、月山の祭祀権を握り、湯殿山側は大井沢口の別当坊大日寺、本道寺口の別当坊本道寺が真言宗高野派、大網・七五三掛の別当坊注連寺が真言宗豊山派に分れ、注連寺・大日坊は表口別当、本道寺・大日寺は裏口別当と称した。

　つまり、これはちょうど将軍家光の時代のことであるが、
　　・天台宗……羽黒山、月山
　　・真言宗……湯殿山（高野派＋豊山派）
というように、出羽三山の中でも宗派の違いが生まれていたのである。
　そのきっかけは、江戸幕府による宗教統制であった。少し長くなるが、同書から引用すると、

　徳川幕府は宗教統制の上から天下の修験道を本山派（天台系）当山派（真言系）に分ち、羽黒山の支配下にあった東日本の修験者も大峯熊野を本山と仰ぐものが多くなった。そのため、羽黒山勢力の衰退を危惧した宥誉は三山体制の強化、ことに湯殿山に対する支配力の引締をはかり、寛永十六年（一六三九）幕府に対し、湯殿山の四か寺（大日坊、注道寺、大日寺・本道寺）の行場支配を止め、羽黒山直属にするよう願い出た。これに関連して宥誉は徳川家康に信任厚い天台宗の天海に会い、その勢力を背景に羽黒山を天台宗に転宗させ、統率力を高めようとし、寛永十八年（一六四一）転宗とともに東叡山（日光輪王寺）の末寺に入り、天海の弟子の建前から天宥と改めた。また江戸を中心に関東地方の羽黒派修験の結束を固める為、十人の役僧（十老僧または江戸行人）を置くことを願い出て許され、これに伴い各地に錫杖頭を任じ、末派修験の統制・保護に当らせた。さらに羽黒山に東照宮を勧請しち旨申入れ、天海の斡旋で正保二年（一六四五）に実現したが、湯殿山の件については簡単に落着しなかった。湯殿山の四か寺は真言宗に留ることが認められたが、その代り月山と羽黒山の間の行者の錫杖の音頭取り、行者の賽銭領納が湯殿山側の先達には出来なくされるなどその確執は永く尾をひいた。

　天海僧正の名前が出てきた。しかも、湯殿山は天台宗・天海の配下に入らず、抵抗し続けて真言宗に留まり続けた「敵対者」だったのである。
　その湯殿山に由来する不動尊をまつる真言宗豊山派の目白不動・新長谷寺。「五色不動がセットとして天海僧正によって作られた」という説では、この目白不動の存在自体が矛盾してしまうのだった。