Жандармские структуры в Ярославском крае тесно связаны с деятельностью Третьего отделения собственной канцелярии императора, а с 1880-х годов — Департамента полиции при Министерстве внутренних дел России.

Третье отделение, созданное в июне 1826, и учрежденный в апреле следующего года корпус жандармов являлись органами политического сыска и надзора, борьбы с государственными преступлениями. Первый начальник Третьего отделения и шеф корпуса жандармов генерал А. Х. Бенкендорф назначил в каждую губернию штаб-офицера в чине от майора до полковника. Все свои наблюдения они доводили до сведения А. Х. Бенкендорфа, а тот наиболее важные из них сообщал царю. Все это делало штаб-офицера представителем верховной власти в губернии. Его статус и положение были высоки, а зарплата значительно больше, чем у губернских полицмейстеров. В помощь штаб-офицеру в каждой губернии формировалась жандармская команда обычно из 34 человек. В Ярославле ее возглавлял капитан Маринич, боевой офицер, участвовавший в ряде войн с французами.

Впервые ярославцы увидели жандармов в 1826, тогда они являлись своеобразной военной полицией, сопровождая отправляемых на сибирскую каторгу декабристов. В 1827 в губернию прибыл первый штаб-офицер подполковник Жемчужников. Но его в том же году перевели в Москву, где располагался штаб 2-го жандармского округа.

Несколько лет в Ярославской губернии штаб-офицером являлся полковник Н. П. Шубинский (1782−1837). Особое внимание он уделял настроениям студенчества Демидовского лицея, крестьянства и мастеровых. Шубинский ходатайствовал перед Бенкендорфом о необходимости назначения директором лицея человека из местных дворян. Вскоре лицей возглавил магистр философии А. Ф. Клименко, хорошо известный в губернии. Полковник жандармерии был частым гостем в учебном заведении, посещал аудитории, столовую, кухню; бывал и на экзаменах. Слабость знаний воспитанников он объяснял недостаточностью надзора за ними, пропусками занятий, бурсацкими шалостями. Но уже в феврале 1829 Шубинский сообщал шефу жандармов: «Вообще с прибытием… Клименко в Демидовском лицее все улучшается». В отчете Третьего отделения за 1832 дана высокая оценка деятельности Шубинского, говорится, что «своими действиями он приобрел всеобщее уважение в Ярославской губернии». Полковника переводят в Москву на должность и.о. начальника жандармского округа.

В 1840-е годы на Ярославской Большой мануфактуре годами не выплачивали зарплату. Служащий тогда в должности штаб-офицера подполковник Кованько, опасаясь волнений ткачей, неоднократно обращался к Бенкендорфу с просьбой принять меры в отношении владельцев предприятия. «Люди сии, — докладывал он, — понуждаемые крайней бедностью… могут выйти из подчинения, и тогда восстановить порядок между волновавшимися тремя тысячи душ будет стоить больший усилий». Но только в 1843, когда высшие власти пригрозили серьезными мерами владельцами мануфактуры Яковлевым, положение с выплатой денег рабочим начало выправляться.

В период отмены крепостного права жандармы в губернии внимательно наблюдали за настроением крестьян, готовые погасить любую вспышку недовольства. В записке шефу жандармов В. А. Долгорукову 9 марта 1861 жандармский полковник в Ярославле О. И. Лобановский сообщал, что «новое положение, даруемое им, не возбудило в них сочувствия, и они, ожидая окончательного освобождения от власти помещиков, в особенности недовольны временным обязательством к ним и полным повиновением в продолжении переходного периода». В донесении от 5 мая того же года он писал в Третье отделение о вредном направлении умов в Пошехонском, Угличском и Ростовском уездах, о волнениях в имении угличского помещика Арнаутова. Только осенью 1861 Лобановский уведомил шефа жандармов, что «спокойствие и порядок видимо восстанавливаются в Ярославской губернии».

В 1860-е годы осуществлялся надзор за губернской администрацией: либерально настроенным губернатором И. С. Унковским, а также за ближайшими его советниками по крестьянским делам, председателем губернской казенной палаты Е. И. Якушкиным, членом правления мировых съездов Н. А. Гладковым, губернским прокурором Н. Ф. Христиановичем.

В 1867 создается Ярославское губернское жандармское управление, а также жандармско-полицейское управление Московско-Вологодско-Архангельской железной дороги, что проходила и по губернии. Его отделения вели розыск в полосе отчуждения железнодорожной колеи. Численность «голубых мундиров» в крае заметно увеличилась.

Канцелярия губернского жандармского управления включала три части: строевую, наблюдательную и хозяйственную. Управлению подчинялись и жандармские подразделения в городах. Новинкой являлось создание при нем филерской службы, которая занималась наружным наблюдением. Наблюдательная часть была озабочена и приобретением секретных сотрудников (осведомителей). Начальником ЯГЖУ в середине 1870-х был полковник Ф. П. Кистер, в середине 80-х — генерал-майор Н. Е. Зарин, в начале 90-х — генерал-майор В. В. Владимирский.

Обязанности жандармов постоянно усложнялись. То была эпоха хождения интеллигентов-разночинцев в народ, первых стачек. По закону 19 мая 1871 жандармерии поручается ведение политических следствий и дознаний. В 1874 ярославские жандармы ведут слежку за народником А.И. Иванчиным-Писаревым. В октябре 1877 жандармы констатируют изучение студентами Демидовского лицея «Капитала» К. Маркса, сообщают в штаб корпуса в Петербурге о народническом кружке в Ярославле, созданном учителем городского училища Н. А. Антушевым и студентом А. Козыревым. В 1880 начальник управления извещает прокурора Московской судебной палаты о появлении в Ярославле народнического кружка И. Я. Лихачева. В политическом обзоре губернии за 1893 говорится о неблагонадежности Е. И. Якушкина.

В 1880 Третье отделение, как орган политической полиции, упраздняется. Функции его переходят в Особый отдел Департамента полиции при МВД. Министр внутренних дел становится и шефом жандармов. Все это централизовало общую и жандармскую полиции, усилило политический сыск. Поэтому в конце XIX — начале XX века жандармы в губернии еще интенсивнее ведут борьбу с крамолой: преследуют стачечников, громят студенческие и рабочие кружки, арестовывают профессиональных революционеров, ведут наблюдение за первыми социал-демократическими кружками. В 1903 им удалось раскрыть нелегальную типографию «Северного Союза» РСДРП в Ярославле.

В 1904 при губернском жандармском управлении создан розыскной пункт, сосредоточивший все руководство политическим сыском в губернии. Возглавил его выпускник Тверского кавалерийского училища ротмистр Виктор Михайлович Немчинов. Он функционировал до 1906, противостоял революционным событиям в Ярославле и других городах в разгар событий 1905−1906 годов. После роспуска этого пункта он вновь возродился в 1907 в более расширенном варианте, как Ярославское охранное отделение. Некоторое время его возглавлял ротмистр Г. А. Гривин.

В состав местной охранки, кроме начальника, входили 4 наблюдательных агента, 6 унтер-офицеров. На содержание секретных сотрудников из среды революционных партий и групп выделялось существенная по тому времени сумма — 3600 рублей в год. Рыбинск обслуживали два агента охранного отделения. Всего на Ярославское охранное отделение в 1907 было выделено 9780 рублей. Но в следующем году ассигнования на его содержание возросли до 13 260 рублей, а в 1914, когда охранное отделение упразднили и тайный сыск вновь передали в губернское жандармское управление, расходы на охранку составляли 14 210 рублей.

Как в революцию 1905−1907, так и позднее охранное отделение и жандармское управление сообщали ярославскому губернатору, а также в Департамент полиции МВД о намечавшихся первомайских сходках рабочих и студентов, предполагавшихся стачках, концертах в пользу бастующих, деятельности социал-демократических и эсеровских организаций, их боевиках, ярославских кадетах и октябристах, выступлениях членов Государственной Думы и др. Чины охранки, а позднее губернского жандармского управления производили аресты, иногда весьма многочисленные. Так, в ночь с 13 на 14 февраля 1911 жандармами была ликвидирована наблюдаемая ими группа ярославских социал-демократов, произведено 20 обысков. С 1903 по 1913 они раскрыли несколько нелегальных типографий.

В своей деятельности политический сыск опирался на секретную агентуру. В 1908 в Ярославской организации РСДРП в разные месяцы насчитывалось от 1 до 3 агентов. Агентура делилась на разряды: секретные сотрудники, вспомогательные сексоты (они могли быть и вне партийных организаций) и агенты, оказывавшие нерегулярные услуги розыску — «штучники». Вспомогательная агентура преобладала. Если в 1910 таких сотрудников было 6, то в 1912 их в губернском жандармском управлении насчитывалось до 50. Все это вместе взятое давало возможность держать в поле зрения розыска большое число лиц. Только по группам Северного комитета РСДРП с конца 1904 по конец 1908 проходило по сводкам свыше 200 человек. Революционных тайн, о которых не знали жандармы, было немного. Даже самый опытный в конспирации партийный работник находился на воле от нескольких недель до года с небольшим. Охранка вновь нападала на его след, арестовывала, заключала в тюрьму или ссылала. В тюрьме действовала своя тюремная агентура.

Накануне и в период мировой войны в 1914—1916 политический сыск в губернии заметно усилился. Губернское жандармское управление возглавляли опытные в розыскном деле полковники Н. П. Артемьев и Г. Р. Антониус. Росли квалификация жандармов, координация их деятельности с Особым отделом Департамента полиции, коллегами из соседних губерний. Картотека состоящих под надзором лиц включала депутатов Думы различных созывов, подозрительных из состава эвакуированных и беженцев, партийных функционеров, сочувствующих различным политическим группам и партиям, сектантов, чиновников, кадетов, октябристов. Широкий размах получила перлюстрация. В период войны законом разрешалось вскрывать не только письма с фронта, но и любые почтовые отправления.

Но активная деятельность охранки не смогла спасти царскую власть. В ходе Февральской революции были разрушены силовые структуры монархии. Временное правительство не смогло создать сильные органы защиты государственности. В этом одна из причин его свержения большевиками в октябре 1917.