一八九五年日人佔據臺灣初始，公佈臺灣總督府臨時條例及地方官臨時條例，此時日人統治僅及北臺一隅，至是年十月二十一日，日人始據全臺。日本治臺初期，並無司獄官與監獄制度，監獄管理事務由縣廳辦理。置臺灣總督府於臺北為最高行政官置，在總督府內務部內設有警保課，主管警察、保安事務，依照總督府條例，內務部所管之警察課為「中央警察機關」，依照地方官官制之縣警察部為「地方警察機關」。警察部置警察部長，支廳及澎湖島廳則設置警察署或警察分署。明治28年訂定發布「臺灣監獄令」、「監獄暫行規則」，監獄事務仍由警察人員辦理。明治28年公佈之「警察規程」及「地方縣廳分課歸成準則」中明定縣警察課職掌關於監獄事項，明治29年公佈「臺灣總督府地方官官制」時，初訂定監獄規則，其以前之臨時條例至是廢止。但其監獄事務則由警察人員辦理。至於縣置監獄課，支廳、警察署、分署則置監獄署，自是有關監獄事務乃由警察署分離，歸監獄署掌理。監獄之所在地為臺北、新竹、宜蘭、苗栗、臺中、鹿港、彰化、埔里社、雲林、臺南、鳳山、嘉義、恆春等地各設一所。凡被處徒刑、流刑者均禁於地方監獄。微罪者，則由地方警察機關處以罰金及笞刑，不送監獄。
明治32年陸續發布「臺灣監獄規則」及「臺灣監獄規則施行細則」，提供臺灣各監獄人員執行獄政工作上較完整的法令規範，明治33年發布「總督府監獄官制」，將原先分屬各地方政府管轄的監獄，統一劃歸臺灣總督府直接管轄，日本統治者在臺灣總督府民政局置法務部，掌理民事、刑事之裁判及檢察事務，臺灣總督府事務分掌規程之規定，法務部置庶務股、民刑課及行刑課，行刑課掌管 (1)關於刑之執行之事項(2)關於刑務所之事項(3)關於假釋放之事項(4)關於犯罪人異同識別之事項(5)關於司法保護之事項等，法院分為地方、覆審及高等三審級。行刑課之職掌相當於現在的法務部矯正司之部分執掌。
明治41年（1908年）3月，發布「臺灣監獄令」依從日本「監獄法」的相關規定，同時發布「臺灣監獄令施行為細則」，為臺灣獄政工作的基本法律規範。而由明治32年起，陸續進行各監獄之合併與新建工程。總計至日據末期，全島計有三所（臺北、臺中、臺南）監獄，五所（宜蘭、花蓮港、新竹、嘉義、高雄）監獄支監。大正11年（1922年）明定將各地「監獄」更名為「刑務所」。