平安時代、矢坂山の南面は近くに吉備の穴海が迫り、葦原と山裾の開には大安寺(奈良)の荘園が吉備の中山までつながる条里として開け、この地方の中では拓かれた土地柄でした。現存する北向八幡の宮司である富山道常氏の遠い、遠いご先祖に当たる「富山大掾(だいじょう)重興(しげおき)」が光孝天皇の仁和年間(平安中期885~9)に矢坂出に城を築き、富山城と名付けたことが富山家の家譜に残って(岡山市史39年度版)います。
光孝天皇(58代31世)は高齢で天皇になり短期間の在位でしたが、日本に初めて関白の職位を設て、成人天皇の補佐職としたことが有名です。(天皇が幼年の場合には従来通りの摂政と称した)富山大掾(だいじょう)重興(しげおき)の大掾(だいじょう)とは律令制の職位で、地方行政官(三等官の判官)である。当時、この地方の有力な豪族からは一歩進んだ武士クラスで、中央政権の一翼を担っていたことになる。
その後、同じ富山家の家譜によると「時の城主富山備中長頼、文明年中松田勢の攻撃を受け防御ならず城に火を放ち自害す」とあることから、応仁の乱(1467~77)まで富山氏がこの城を守っていたことになる。そうすると富山氏は築城以来今日まで約1100年も続いたことになり、吉備津彦神社の大守家などに並ぶ名門の社家となる。江戸時代、池田光政により寛文9年に現在の北向八幡宮が再興され、以東富山家が神官を続けている。
松田氏と運命をともにした人もいるようで、滅ぼされた宇喜多軍に従い松田氏と共に高松城水攻め、朝鮮進軍、関ヶ原合戦そして共に讃岐に地を下して活躍してようです。その一例が「三倉屋物語」だそうです。その当主が富山大掾の子孫と書いてあります
伝説では「ウラ」を退治のため吉備津彦命が矢坂山に陣を張って2100年目にあたります。当時は吉備の穴海に浮かぶ岩井島でした。この地は、吉備の国その奥の安芸の国への要衝であり、重要な歴史的な戦いがあり、桃太郎伝説が、生まれたのでしょう。 3年前に、玉松城命名500周年を、御津で開かれたと聞きました。鎌倉時代に入り、松田氏が、東(アズマ)の国より、備前に来られ、最初に城を築いたのが、「富山城」といわれています。大野村誌によると、1333年に松田元国が、築城したと云われていますから、命名の186年前)となります。その時、この城で「大覚大僧正」に会い、日蓮宗の布教を許し、今でも信者が多くいます。 その前は、平安時代中期に富山氏が、居城していました。その流れは、北向八幡宮の宮司様を始め、四国の富山氏と続いています。 また、今さら言うでもないことですが、大村氏は家老職で活躍されたことは有名です。また、同じ家老職で富山城主でもあった、横井出羽守(かみ)は医術にたけて村人にも薬効をほどこしたと云われています。御津の金川の玉松城に居城を移し13代、200年間備前を統治された。