Noël Albert, riche marchand de Viviers, enrichi par le commerce du sel et le détournement des impôts, a été consul de Viviers en 1533, bailli de l'évêque de Viviers pour la baronnie de Largentière, en 1557. Il représente l'évêque de Viviers aux États de Languedoc en 1560. À une date inconnue, il se convertit au protestantisme pour échapper à la justice royale. En 1562 il est nommé parmi les chefs militaires huguenots et dirige le sac de la cathédrale de Viviers. Après la paix d'Amboise il reprend ses activités commerciales jusqu'en 1567. La paix de Longjumeau refusant de donner des places de sûreté aux protestants, il s'oppose au roi. Il capitule, arrêté, il a été jugé par le parlement de Toulouse, condamné et décapité en 1568. L'hôtel a été construit après l'achat de plusieurs maisons de part et d'autre de la rue de la République au xve siècle. Un passage a été réalisé au-dessus de la rue de la République permet de relier le corps principal des bâtiments à une pièce qui a dû être une chapelle. Sur ce passage on voit des éléments de façade en réutilisation de décors plus anciens d'inspiration gothique : linteaux avec arcs trilobés, bandeaux avec des figures humaines et d'animaux en haut-relief.