Secondo la storia più originale, la creazione dei pantaloni khaki fu opera dell'ufficiale britannico Harry Lumsden. Di stanza in India alla fine del XIX secolo, sostituì i pesanti pantaloni dell'esercito, sviluppati per luoghi molto diversi, con pantaloni più leggeri per combattere il caldo, chiedendo che fossero tinti con foglie di tè per aiutare la mimetizzazione nel nuovo ambiente.
Secondo un'altra versione, furono gli stessi soldati britannici a macchiare le loro uniformi bianche di fango e curry per meglio adattarsi al terreno delle colonie imperiali britanniche. In realtà, la parola "cachi" si riferisce al color terra, anche se finì per essere associata a un tipo di pantalone con quattro tasche, taglio rilassato e di solito senza pieghe. E non sempre color cachi. Secondo Mark McNairy, stilista con un interessante rapporto di amore-odio con questo capo, i pantaloni khaki furono i predecessori dei pantaloni chino, un po' più leggeri e con un taglio che si restringe dal ginocchio in giù, anche se spesso i due vengono raggruppati insieme.
L'esercito britannico finì per adattare l'indumento per le campagne in India, Sudafrica e Sudan e più tardi gli Stati Uniti cominciarono a usarlo come uniforme per i suoi vantaggi funzionali nei climi caldi. L'immagine dei piloti trasformò i khaki in un simbolo di avventura: Charles Lindberg, Ernest Hemingway, Jack Kerouac, Steve McQueen e Indiana Jones provarono che quel tipo di pantaloni permettevano una maggiore libertà di movimento. Sul versante opposto, la Ivy League considerava il passato militare dei khaki come un onore, e li rese parte dell'uniforme preppy.
Ogni decennio ha reinventato il loro utilizzo, da must per gli indispensabili casual friday degli anni '90 e nelle aziende tecnologiche dei primi anni 2000, a indumento per lo skate. Come classico capo americano, l'eleganza casual di khaki e chino è stata fondamentale per Ralph Lauren, ma anche per le reinterpretazioni di Comme des Garçons e Fumito Ganryu che riescono a portare questo capo basic a un nuovo livello.
A differenza di altri capi classici che conservano eternamente lo stesso significato, i pantaloni khaki conservano eternamente le loro linee, in attesa del momento perfetto.