El municipi de Sort comprèn el terme tradicional de Sort, els de Llessui i Enviny, annexats el 1970, i els d'Altron, el 1976. El terme s'estén per la ribera de Sort, la vall del barranc de Montardit i, pràcticament tota la Vall d'Àssua. El terme comprèn, doncs, a més de la vila de Sort, cap del municipi i capital tradicional del Pallars Sobirà, els pobles d'Altron, Bernui, Enviny, Llarvén, Llessui, Montardit de Dalt, Olp, Ribera de Montardit, Saurí, Sorre, la Bastida, Pujalt, Bressui, els masos de Castellviny, el despoblat de Pernui i els antics llocs de la Torre, Torena i Menauri.El nucli antic de la capital, format per carrers estrets i cases antigues, s'agrupa al peu de l'esperó rocallós on hi ha les grans torres de planta circular, la façana gòtica (segle XV) i els murs -transformats el 1842 en tanca del cementiri- del castell de Sort, antiga residència dels comtes del Pallars i, des del 1491, dels governadors que administraven el marquesat de Pallars en nom dels Cardona.
La vila es va expandir, al peu d'aquest conjunt, seguint el camí que vorejava el riu, fins al carrer Major, i al raval. Al començament del segle XX, durant la construcció de la carretera de Balaguer a la vall d'Àneu, el riu va ser desviat, donant lloc a la construcció d'un barri nou, i d'aquesta manera incorporat el passeig de la Pallissa, que es trobava a l'altra banda del riu, el qual s'ha transformat en el centre comercial de la vila. La vila de Sort és esmentada ja al 1069 com a possessió del comtat d'Urgell.
Un dels personatges famosos que hi van viure va ser el mag Fassman, que hi tenia una casa on hi passava la major part de l'any. Sort és coneguda per ser la capitals dels esports d’aventura i, també, per l'administració de loteria del poble, anomenada La Bruixa d'Or, que en els últims anys ha donat diversos premis. No se sap ben bé quina és la raó per la qual una administració, en principi tan petita, ha donat tal quantitat de premis, però sí és cert que ara ha esdevingut un lloc visitat pels turistes, que hi van a comprar loteria en qualsevol època de l'any. Els seus habitants s'anomenen sortencs.
