永享４年（１４３２）那珂市瓜連常福寺三世、明誉了智上人により、師の酉蓮社了誉聖冏上人の十三回忌報恩のため浄土宗寺院として、一宇を建立されましたが、寺伝によると、了誉聖冏上人の十三回忌以前に、源頼朝の妻政子の庇護により新善光寺が創建されたという、現在も地名に新善光寺と残っている。

名称の由来は、常不軽菩薩が阿弥陀山に来迎し、阿弥陀三尊を掘られたことから、山号を不軽山といい、香仙人なるものがこの地にいて「不軽山荘厳院香仙寺」と称するようになったという。