芋掘り藤五郎神社の由来が刻まれた石碑がある。上記のことや芋掘り藤五郎の伝説が描かれているのであろう。
小さな社殿と狛犬
社殿の左側にある祠標は昭和11年に「山科史蹟保存会」が建てたもので、裏には黒本稼堂の漢詩が刻まれている。
境内右側にある「繁栄大黒天」は、古いものではないと思われる。
境内右側には、戦没諸霊を顕彰（慰霊）する「忠魂碑」(ちゅうこんひ)がある。
芋掘り藤五郎ゆかりの伝承で、藤五郎がその松の枝に鍬をかけて一服したと言い伝えられている老松が３本この辺りにあったのが、明治３５年に根の下に黄金があるとうわさが広がり、人々が掘りおこしたため、明治３７年に枯れ死した。その松で１３個の臼を作り、山科の旧家に保存されていたが、うち１個を昭和６２年に歴史博物館に保管展示されているという。
山科の現在の藤五郎神社付近一帯に行基山伏見寺があり、領主であった富樫家の寄進もあり、最盛期には金堂、講堂、搭、鐘楼、経蔵、僧坊、食堂の七堂伽藍を備えた大寺院があったと考えられている。１６００年代初めに２代前田利長が現在の寺町に移した。
この山科には、大桑層（おんまそう）の地層が見られるという。大桑層は今から約１００万前の浅い海でたまった地層で、多くの貝の化石など出てくるという。このような地層は日本各地やニュージランド、イタリヤやアメリカ西海岸にもあるが、街の中にあるのは大桑層ぐらいだという。
約２０００万年前の地殻変動によって、アジア大陸からだんだん離れていって今のような日本列島ができ、日本海ができたという。金沢は火山が噴火したり、深い海の底になったり、陸地になったりした。そして、この金沢の大桑層は、貝の化石がたくさん見つかることで有名で、１８０万年～８０万年前の地層である。この頃の日本海は北から冷たい水が流れ込むことから、ホタテ貝のような冷たい海に住む貝がたくさん見つかるのはこのためだという。
この山科には、大桑層化石の層が見えることと、砂岩層の河床に伏見川の急流にえぐられたた、大小さまざまな壺上の穴が見られるという。これを甌穴と言われていて、その渓谷美が作られている。。これらが、国指定の天然記念物となっている。
犀川の大桑付近では、多数の貝化石や甌穴も見られ、地質学の分野では、世界的にもまれなロマンを感ずる場所であるという。
