Le Prieuré s'appelait initialement "Saint-Julien" et était situé au quartier de Mallemiailles, actuel quartier de Chenebotte. Tombée en ruine une première fois, sa chapelle, sous le vocable de Saint-Julien, fut rebâtie en 1619 par un maçon de Noyers, Jacques Chauvin, sur l'ordre de Mgr de Glandevès, évêque de Sisteron.
Remise une seconde fois en état par les soins de l'abbé Bois, elle fut bénie le 16 avril 1742. Elle était à nouveau retombée en ruine lorsque Raymond a acheté le Prieuré en février 2005. On n'y voyait plus que trois corps de bâtiments autour d'une petite cour intérieure, les ruines d'une tour-pigeonnier, quelques fenêtres et portes, des fragments de voûtes, le tout envahi d'arbres et de ronces. Il était impossible de localiser la chapelle dans ces ruines.
En 2008, Raymond a construit la bâtisse actuelle avec les pierres d'origine et sur le même emplacement.