子宝に恵まれない夫婦が観音様に祈願したところ、ある日、戸外で赤ん坊の泣き声がした。夫婦が驚いて外に出てみると白い布にくるまれて赤ん坊がいた。夫婦は観音様に子を授かったと喜んで養育していたが、この話を天武天皇が聞き及びみずから引き取って養育したというのだ。それが義淵僧正。

岡寺は別称として龍蓋寺というが、義淵が凶暴な龍を捕まえて池に封印したのでその名がついている。
天武天皇の皇子で27歳で早世した草壁皇子の住んだ岡宮の跡に義淵僧正が創建したとされる。
義淵僧正は日本の法相宗の祖であり、その門下には東大寺創建に関わった良弁や行基などがいた。義淵僧正が法相宗の祖とされていたため、江戸時代までは興福寺の末寺であった。江戸時代以降は長谷寺の末寺となった。