15 сентября 1918 года открылись трехнедельные курсы ВЧК, рассчитанные на 100–120 слушателей. Разработанная подробная программа обучения включала военную, политическую и специальную подготовку. Занятия на курсах вели руководящие работники ВЧК, имевшие богатый опыт борьбы с царской охранкой. Для чтения лекций на политические темы приглашались видные советские и партийные работники. Занятия по военным дисциплинам вели известные военачальники.

В 1918–1919 годах состоялось несколько выпусков слушателей инструкторских курсов при ВЧК. В 1919 году Коллегия ВЧК пришла к выводу о необходимости организации двухмесячных курсов вместо трехнедельных. Численность слушателей была увеличена до 200.

В августе 1923 года Курсы были преобразованы в Высшие курсы ГПУ. В июле 1927 года Высшие курсы ОГПУ были реорганизованы в Школу по переподготовке работников внутренних органов. 4 июля 1930 года учебное заведение было переименовано в Центральную школу ОГПУ. В марте 1938 года Центральная школа была переименована в Высшую школу НКВД СССР.

В период Великой Отечественной войны в школе было подготовлено более семи тысяч чекистов, ставших организаторами борьбы против вторгшихся на территорию СССР войск гитлеровской Германии и ее союзников. Шестеро выпускников Высшей школы стали Героями Советского Союза. 15 июля 1952 года постановлением Совета министров СССР на базе Высшей школы и Школы следственных работников МГБ СССР была создана Высшая школа МГБ СССР. Постановлением Совета Министров СССР от 2 августа 1962 года Высшей школе КГБ при СМ СССР было присвоено имя Феликса Дзержинского.