1209. aastal lasi piiskop Albert endise vana puidust lossi asemele ehitada kivist lossi. Põhjasõja ajal (1701. aastal) õhkisid saksid taganedes lossi ning lossi enam ei taastatud. Kuni 1966. aastani asusid lossivaremed kõrgel mäel, kuid kui ehitati Pļaviņa HES veehoidla, siis ujutasid selle aluspõhja üle Daugava ja Pērse veed.
Mõni romantiline legend räägib, et linnuse isand kuulnud, et tütar tahab abielluda tavalise aednikuga, lukustas tütre lossi kõrgesse torni ja aedniku, kui see ei soovinud loobuda tema tütre käest, hukkas. Seda nägi läbi torni akna tema tütar ja hüppas tornist alla. Tütart olla hiljem mitu korda nähtud Pērse kaldal kivil leinamas ja juukseid harjamas. Kui keegi lähemale astus, siis ta kadus, kui aga põgenes, siis jooksis järgi.
