Położone jest na wysokości 1750 m n.p.m., u stóp lodowca, nad rzeką Terek. Nazwa miasta pochodzi od św. Szczepana, nadana została na cześć mnicha Gruzińskiego Kościoła Prawosławnego o tym samym imieniu, który zbudował tu erem służący do poboru opłat za przejazd prowadzącym przez góry szlakiem (późniejsza Gruzińska Droga Wojenna).
Nazwa Kazbegi została zmieniona podczas okupacji sowieckiej w 1925 r. Miała upamiętnić lokalnego przywódcę Gabriela Kazbegiego, który po przyjęciu protektoratu Imperium Rosyjskiego nad Gruzją pomógł stłumić antyrosyjską rewolucję. W 2006 r. powrócono do pierwotnej nazwy miasta. Rozpoczyna się stąd również wspinaczkę na Kazbek i wyprawy do Wąwozu Darialskiego.