休假的管理主要涉及以下部门：
劳动监察部门：
劳动者如果认为单位不让休假，可以向当地劳动监察大队投诉，也可以拨打12333进行投诉。这表明劳动监察部门负责监督劳动者休息休假权利的保障。
人事部门和劳动保障部门：
县级以上地方人民政府的人事部门和劳动保障部门负责监督年休假的执行。他们依据职权对单位执行年休假条例的情况进行主动监督检查，并维护职工的年休假权利。
国务院办公厅：
放假安排是国务院办公厅规定的，包括国家法定节假日等。这意味着国务院办公厅负责制定全国的休假政策。
干休所：
干休所通常由企业或机关事业单位设立，并归属于相应的单位管理。员工或工作人员在工作期间享受的休息休假，可以在干休所进行。
综上所述，劳动者休假的管理主要涉及劳动监察部门、人事部门和劳动保障部门，而放假安排则由国务院办公厅负责制定。干休所的管理则归设立单位内部。