日本主要由北海道、本州岛、四国岛、九州岛、琉球群岛和其他的n个岛屿组成。

日本的一级行政区域有四种：都、道、府、县。

都--1个--东京都--是指首都东京。

道--1个--北海道--原来只有在本州岛的东海道、南海道、西海道，而现今的北海道地方，当时并没有建制，是因为当时该地的居民被蔑视。直到明治二年(即1869年，刚结束幕府统治不久)，该地被建制，称北海道。后来，由于行政改革，东、南、西海道都被取消，而北海道却被保留了下来，所以现在只有一个“道”。

府--2个--京都府、大阪府--京都和大阪都是日本历史上两个重要城市，古时与江户(东京的旧称)被称为“三都”。

县--43个--相当于我国的“省”。

日本现行的地方行政区划架构：

都、道、府、县

支厅(部分地区设立)

郡(虚级)、市(以及政令指定都市、中核市、特例市)、特别区

町、村、区(政令指定都市的区)

日本的二级行政区域有三种：市、町、村。

不同于我国的市、县、镇的从属关系，日本的市、町、村在行政上地位平等，并不存在某个村属于某个町或某个町属于某个市，它们地位平等，都是二级行政区域，都只能从属于一级行政区域。它们的不同，只是因为它们人口数不同，市最多，村最少。

与市同级的“郡”，1920年代开始虚级化，目前仍具备地址表记、广域行政圈范围、都道府县议会选举划分等功能。

将一些原属都道府县的事务移让给政令市。政令市之下设立“区”(行政区，不具法人格)，地址表记可省略县名。2010年时全国总共有19个政令市。另外亦有人口数较少一点的中核市、特例市。

此外，东京都设有特别区(特别地方公共团体)。与“政令市”的行政权限类似，唯为确保大都市的行政一体性，如上下水道、消防等事务，仍由“都”负责。