Место заключения в Москве впервые упомянуто в источниках под названием "тюрьма" вместо прежнего "поруб". Порубом, или подклетом, служило подвальное помещение.

Существует несколько версий происхождения слова "тюрьма". Традиционно словари трактуют происхождение слова "тюрьма" от немецкого Thurm - башня. Владимир Иванович Даль связывает этимологию слов "терем" и "тюрьма": "Теремъ м. - поднятон высокое жилое здание или часть его, отдельный терем, теремок, замок боярский, одинокий домик в виде башни на подрубе". Но есть версия, что слово "тюрьма" происходит от тюркского - тюрмя, что значит темница, заточение. У якутов и тюркоязычных алтайцев есть слово "терме". Так называется сруб, вкопанный в землю, в настоящее время используемый как ледник или погреб. Такое название это сооружение получило именно из-за своей бревенчатой основы.

Степняки вырывали глубокие ямы, куда сажали пленников для "сидения", - это было в традиции Степи. Поэтому слово "тюрьма" считают производным от тюркского "сидеть". Да и в Древней Руси невольников, скорее всего, содержали в глубоких ямах, откуда выбраться невозможно. Такие усовершенствованные ямы - тюрьмы - зинданы - дожили в Бухарском и Хивинском ханствах до 1861 года.