Skarð á Skarðsströnd hefur verið eitt helsta höfuðból landsins í gegnum aldirnar. Skarð er mikil hlunnindajörð og Skarðsbændur því jafnan ríkir og áttu mikið undir sér.

Frægust Skarðsverja er Ólöf Loftsdóttir "Ólöf ríka", ekkja Björns hirðstjóri Þorleifssonar. "Eigi skal gráta Björn bónda heldur safna liði" er eftir henni haft þegar Englendingar höfðu drepið mann hennar í Rifi 1467. Ólöf hefndi hans grimmilega, tók Englendinga höndum og flutti þá heim að Skarði. Þar þrælkaði hún þeim út og lét þá meðal annars leggja steinstétt heim að Skarðskirkju. Enn sér móta fyrir stéttinni, sem heitir Englendingastétt. Út af þessum atburðum, sem gjörðust á Rifi, varð svo 5 ára stríð milli Englendinga og Dana, og komst ekki á friður fyrr en árið 1474.

Á Skarði er bændakirkja með mörgum merkum gripum. Skarðskirkja var lengi vel höfuðkirkjan í Skarðsþingum. Núverandi kirkja var endurbyggð 1914-1916.