Cikal bakal KPPN Jambi adalah dimulai dari dibentuknya Kantor Kas Negara (KKN) Jambi dan Kantor Perbendaharaan Negara (KPN) Jambi yang mulai beroperasi pada tanggaI 20 November 1984 berdasarkan Surat Keputusan Menteri Keuangan tanggal 1 Oktober 1984 Nomor 605/KMK.6/X/1984. Berdasarkan Surat Keputusan Menteri Keuangan tanggal 12 Juni 1989 Nomor 645/KMK.I0/1989 telah diadakan perubahan organisasi dan tata kerja instansi vertikal di lingkungan Direktorat Jenderal Anggaran, yang antara lain menyebabkan peleburan KKN Jarnbi dan KPN Jambi menjadi Kantor Perbendaharaan dan Kas Negara (KPKN) Jambi.

Berdasarkan Keputusan Menteri Keuangan RI Nomor 214/KMK.0l/2005 tanggal 2 Mei 2005 dan diubah dengan Peraturan Menteri Keuangan RI Nomor 134/PMK.Ol/2006     tanggal 22 Desember 2006 tentang Organisasi dan Tata Kerja Instansi Vertikal   Direktorat Jenderal Perbendaharaan, KPKN Jambi dengan beberapa penyesuaian tugas pokok dan fungsinya berubah menjadi Kantor Pelayanan Perbendaharaan Negara (KPPN) Jambi.

Selanjutnya berdasarkan Peraturan Menteri Keuangan RI Nomor 101/PMK.0l/2008 tanggal 11 Juli 2008 tentang Organisasi dan Tata Kerja Instansi Vertikal Direktorat Jenderal Perbendaharaan, KPPN Jambi yang berada di bawah Kantor Wilayah Direktorat Jenderal Perbendaharaan Provinsi Jambi, yang semula memiliki tipologi Tipe A menjadi Tipe Al dengan wilayah kerja Kabupaten Muaro Jambi, Kabupaten Batanghari, Kota Jambi dan Pemerintah Propinsi Jambi.