No início do século XX, a travessia do Rio Paraná para a região nordeste do atual estado de Mato Grosso do Sul era feita através de um porto no município Paranaíba.
Com a expansão da economia paulista durante o período compreendido entre o golpe militar de 1889 e os anos de 1930, predominados pela política do café-com-leite, a malha ferroviária do estado de São Paulo necessitava se expandir para possibilitar o escoamento de seu principal produto, o café. Utilizando-se mormente de empréstimos no exterior, tendo como garantias os lucros com o café e outros cauções por parte do Governo Federal, esse estado passou a investir em sua infra-estrutura, beneficiando, assim, os estados vizinhos.
A Estrada de Ferro Noroeste do Brasil surge como uma lucrativa possibilidade de ligar o Porto de Santos, no Oceano Atlântico, ao Oceano Pacífico, passando pela região central do estado de São Paulo, sul de Mato Grosso, Bolívia e Chile. No caminho, no entanto, encontravam-se grandes obstáculos naturais. A maior barreira na primeira parte do percurso era o Rio Paraná, na altura da atual cidade sul-matogrossense de Três Lagoas. A construção da ferrovia, no entanto, não esperou a conclusão da transposição desse obstáculo. Continuou do lado treslagoense, à espera que uma ponte unisse o lado paulista ao matogrossense da estrada de ferro.
O erguer da ponte, no entanto, atrasou-se por motivos tanto tecnológicos, quanto financeiros. O primeiro projeto era de uma ponte com características diferentes do que foi levado a cabo. Em 1918, o contrato com a empreiteira responsável foi rescindido e o projeto, alterado. A estrutura metálica já adquirida era pouco resistente aos tipos de trens a serem adotados e seu uso no local nunca ocorreu. Iniciou-se o planejamento da Ponte Francisco Sá tal como ela se apresenta hoje.
A travessia do Rio Paraná, no ponto chamado de Jupiá, até então era feita por balsas. Duas locomotivas, uma de cada lado do rio, carregavam e descarregavam vagões nas balsas. Elas eram compostas de duas vastas lanchas de ferro unidas uma à outra, possuindo cinco linhas paralelas. Essas lanchas chatas eram presas às poupas de dois rebocadores, o Conde Frontim e o Marechal Hermes, os quais, na verdade, empurravam-nas.
Os passageiros desembarcavam na antiga estação do Jupiá, que se encontrava do lado paulista do Rio Paraná. De lá, prosseguiam em um barco auxiliar para o Jupiá treslagoense, onde novamente embarcavam no trem, uma vez que este estivesse devidamente carregado. O sistema funcionou até 1926, quando foi inaugurada a Ponte Francisco Sá.
O material metálico não utilizado quando da mudança do projeto em 1918 foi utilizado na substituição de numerosas pontes de madeira existentes no lado matogrossense da Estrada de Ferro Noroeste do Brasil. Por esse motivo, a NOB passou a possuir um rico patrimônio de pontes ferroviárias metálicas.
O nome Francisco Sá é uma homenagem ao ministro de viação e obras públicas, que chefiou este ministério durante os anos de construção da ponte.