İlçemiz ve çevresi, Doğu Anadolu’yu Doğu Karadeniz kıyılarına ve Kafkaslara bağlayan, tarihin çeşitli dönemlerinde askeri ve ticari amaç ile kullanılan doğal ve tarihi yollar üzerindedir. Adını Saka Türklerinin Sasper Boyu’ndan aldığı iddia edilen İlçemiz; Hurri, Urartu, Saka (İskit), Med, Pers, Roma, Bizans, Sasani, Emevi, Abbasi, Selçuklu, İlhanlı, Karakoyunlu, Timurlu, Akkoyunlu, Gürcü Krallığı ve Osmanlı medeniyetlerinin yerleşim alanı olmuştur. İlçemiz ve çevresi Urartulara ait çivi yazılı belgelerde Kulka (Qulha) adıyla geçmektedir.
         
1514 Çaldıran Seferi sonrasında Osmanlı hâkimiyetine giren İlçemiz, 1515 tarihinde sancak olan ve aynı yıl içerisinde yeni kurulan Diyarbakır Beyler Beyliğine, 1520 yılında da Rum Eyaletine bağlanmıştır. 1535 yılında yeni kurulan Erzurum Vilayetine bağlı bir sancak olmuştur. 1642 tarihli Avarız Defterinde İlçemizde 12 Müslüman hane, 17 Gayrimüslim hane, 139 asker ile 10 din görevlisi bulunmaktaydı. İlçemiz toplamında ise 531 Müslüman ile 286 Gayrimüslim hane bulunuyordu. 1835 tarihli nüfus yoklama defterine göre İlçemiz merkezi ile birlikte 152 yerleşim alanı bulunmaktadır. Bu sayımda İlçemiz merkez ve köylerinde yaşayan toplam erkek sayısı 11.308 kişi olup, bunun 10.691'i Müslüman erkek geri kalan 617 erkek de gayrimüslim nüfusu oluşturmaktaydı.
        
1839 tarihli kaynaklarda İlçemiz nahiye olarak kayıtlara geçmiştir. 1880 yılına kadar Erzurum merkez sancağına bağlı kaza olmuş, bu tarihte yeni sancak yapılan Bayburt’a bağlanmıştır. Bayburt' un kaza statüsüne düşürülmesi üzerine İlçemiz 1888 yılında yeniden Erzurum merkez sancağının bir kazası oldu. 1892-1898 yıllarında 143 köyü olan kaza konumundaydı. 1895-1896 yıllarında yerleşime telgraf hattı gelmiştir. 1900 yılında Bayburt ile İlçemiz arası posta sürücülüğü hizmete geçmiştir. Yine 1900 yılında yeni "Hükumet Konağı" hizmete açılmıştır.
         
1916–1918 yılları arasında Rus egemenliğinde kaldıktan sonra 25 Şubat 1918’de Kazım Karabekir komutasındaki 1. Kafkas Kolordusuna bağlı birliklerce geri alınmıştır.