非法采矿的管理部门主要涉及 自然资源部门和公安机关，具体职责如下：
自然资源部门
县级自然资源部门负责查处未下放乡镇（街道）的自然资源领域行政处罚事项，包括市级以上重点项目和跨乡镇（街道）行政区域的违法用地案件，并对乡镇（街道）的违法用地和非法采矿执法工作进行业务指导。
市级自然资源部门则负责组织协调全市的自然资源执法工作。
国土资源部门（国地资源局）对非法采矿行为进行行政处罚，包括责令停止开采、赔偿损失、没收采出的矿产品和违法所得，并可以并处罚款。
公安机关
公安机关负责侦查涉嫌非法采矿罪的案件。如果非法采矿行为构成犯罪，受害人可以向所在地的公安机关投诉、举报或控告。
建议
行政责任：非法采矿行为首先由自然资源部门进行行政处罚，包括责令停止生产、没收非法所得和罚款等。
刑事责任：如果非法采矿行为构成犯罪，如无证采矿、擅自进入国家规划矿区等，公安机关将介入并进行侦查，最终由人民检察院起诉，人民法院进行判决。
因此，如果发现非法采矿行为，可以先向当地的自然资源部门投诉或举报，如果涉及刑事责任，再向公安机关报案。这样可以更有效地打击非法采矿行为，保护国家矿产资源的合法权益。