Keluar dari penjara Sukamiskin, Soekarno berupaya menyatukan kembali PNI, tapi gagal. Soekarno kemudian memutuskan masuk Partindo dan terpilih menjadi Ketua Partindo. Sejak itu, hubungan Gani dan Soekarno terjalin erat.
Menurut Rosihan Anwar (2008), ketika Gubernur Jenderal De Jonge (menjabat (1931-1936) bertindak keras, antara lain dengan mengasingkan Bung Karno ke Ende-Flores dan Bung Hatta serta Bung Sjahrir ke Boven Digul, dan nasionalis koperator seperti MH Thamrin, Soetardjo, dan Soekardjo Wirjopranoto di Dewan Rakyat (Volksraad) masih mengangkat suara, Gani memilih masuk Gerindo (Gerakan Rakyat Indonesia) yang sifatnya left-of-center, bersama Mr Amir Syarifuddin, Mr Muhammad Yamin, dan dari generasi lebih muda antara lain Adam Malik. Gani melihat bagaimana pemerintah kolonial Belanda melecehkan tuntutan Indonesia berparlemen dan tidak memperhatikankan secara sungguh-sungguh “Petisi Soetardjo” tahun 1936 di Volksraad, yang menyeruka pelaksanaan hak penentuan nasib sendiri dan dalam masa 10 tahun mengadakan konferensi antara Hindia dan Kerajaan Belanda.
Tak lama setelah Proklamasi Kemerdekaan RI, sekitar akhir Agustus 1945, Presiden Soekarno menunjuk AK Gani sebagai Ketua PNI Wilayah Sumatera sekaligus menjabat Residen Palembang. Sebelumnya, pada Mei 1945, Jepang membentuk Badan Kebaktian Rakyat. Tujuannya: membangun kekuatan bersama rakyat jajahan untuk membendung tentara Sekutu seraya menjanjikan kemerdekaan. Namun, dalam pertemuan Chou Sangi in (Sidang Umum Dewan Sumatera), Gani berteriak lantang, “Tidak ada Indonesia merdeka berarti tidak ada bantuan untuk Jepang!”
Menariknya, pada saat kebanyakan daerah di Indonesia terperangkap konfrontasi melawan Sekutu, Gani justru mampu menciptakan iklim kondusif di Palembang. “Ia bahkan menempatkan Palembang sebagai poros utama kegiatan ekonomi Republik Indonesia,” tulis Mestika Zed, dalam buku Kepialangan Politik dan Revolusi: Palembang 1900-1950 (LP3ES, 2003). Strategi Gani saat itu disebut “diplomasi minyak.” Dengan penuh optimisme, ia pada 30 Agustus 1946 menelegram Menteri Penerangan Mohammad Natsir di Yogyakarta: “Segera kedua instalasi minyak Plaju dan Sungai Gerong diperbaiki sehubungan dengan oil diplomacy… Pengangkutan minyak mentah ini dapat dijadikan mekanisme diplomatik yang ampuh untuk memperoleh pengakuande jure.”
Gani lalu menawarkan kesepakatan kepada Sekutu: pihak Republik Indonesia diwakili Persatoean Pegawai Minjak (PPM) sebagai pelaksana sekaligus pemegang hak konsesi, sementara pihak perusahaan Belanda (Shell dan Nederlandsch Koloniale Petroleum Maatschappi) hanya diberi kewenangan sebagai penanam modal. Uniknya, harga didasarkan negosiasi PPM dengan pihak Sekutu sebagai pembeli.
Dalam kesepakatan itu juga ditegaskan, instalasi minyak di luar Plaju dan Sungai Gerong tidak termasuk dalam perjanjian. Pemeritahan Republik akan mengeksploitasi sendiri ladang-ladang minyak di daerah pedalaman, di bawah otoritas Peroesahaan Minjak Republik Indonesia (Permiri), menggantikan perusahaan minyak Jepang (Dai Ichi Seyudyo dan Dai ni Seyudyo). Dengan demikian, Tentara Rakyat Indonesia (TRI) untuk wilayah Palembang, yang dijuluki sebagai “Batalyon Minyak” berfungsi mengamankan jalannya produksi dan distribusi.
Menurut Mestika Zed, hasil dari penjualan minyak itu disalurkan ke kas negara, untuk membiayai birokrasi pemerintahan. Tak kalah penting: untuk anggaran militer sebagai persiapan menghadapi kemungkinan agresi Belanda. “Hasilnya, Tentara Nasional Indonesia saat itu mulai mendapatkan seragam dan persenjataan yang dibeli melalui penyelundupan, karena laut Indonesia diblokade Belanda,” tulis Mestika.
Konon, dalam suatu kurun waktu, Gani pernah menghasilkan sekitar US$ 5 juta untuk republik yang baru berdiri sebagai hasil dari diplomasi minyak.
Salah seorang petugas lapangan yang dipercaya Gani dalam tugas-tugas penyelundupan di Selat Malaka untuk memperoleh senjata adalah Laksamana John Lie. Kenyataannya, tak hanya minyak, Palembang juga memiliki potensi sumber daya alam lain yang mampu dimaksimalkan Gani untuk membiayai republik yang masih bayi itu, antara lain tambang batubara, komoditas karet, kopi, dan lada.<