Departementet sier at bortføringene skal ha funnet sted i nærheten av byen Cochabamba i provinsen Chapare, som ligger sentralt i Bolivia.
Myndighetene mener at soldatene skal være støttespillere av ekspresidenten Evo Morales.
Bolivia har vært rammet av en rekke konflikter de siste dagene. Det skal ha blitt stjålet våpen og andre rekvisitter som tilhører myndighetene, hevder myndighetene.
Fredag ble minst 20 soldater tatt som gisler, og opposisjonen av dagens regjering mener at antall soldater som har blitt tatt som gisler har økt kraftig den siste tiden.
I 2019 ble Morales presset til å gi fra seg makten etter at han forsøkte å bli gjenvalgt som president. Målet hans var å endre grunnloven som gjorde at han kunne bli sittende som presidenten, men måtte erkjenne at slaget om gjenvinne makten ble tapt.