Ensimmäiset passinkaltaiset asiakirjat on otettu käyttöön jo muinaisessa Egyptissä, jossa rajojen ylittämiseen vaadittiin hallitsijan tai tämän valtuuttaman virkamiehen allekirjoituksella varustettu kulkulupa. Näissä ensimmäisissä passeissa ei varsinaisesti varmistettu asiakirjan kantajan henkilöllisyyttä, sillä kulkuluvan kantajan oletettiin olevan kulkuluvassa mainittu henkilö.

Nykyaikaisille passeille syntyi tarve ensimmäisen maailmansodan yhteydessä, jolloin alettiin pelätä, että vakoojat tai muut epämieluisat henkilöt ylittävät valtionrajoja väärennetyin passein. Vuonna 1914 passimääräyksiä kiristettiin siten, että passista tuli löytyä kuvailuja passinkantajasta, joita olivat esimerkiksi kasvojenmuoto sekä silmien-, ihon- ja hiustenväri. Passissa olevaa valokuvaa alettiin edellyttää ensimmäistä kertaa Englannissa vuonna 1915, mutta passikuvan vaatimukset olivat väljiä: kuvassa sai olla useita ihmisiä ja kuvakulmaa ei ollut rajoitettu, kunhan passinkantajan kasvot olivat erotettavissa kuvasta. Passin käyttövaatimukset ja kiristyvät kuvaehdot herättivät myös närkästystä: vuonna 1919 herätti kohua tapaus, kun Yhdysvaltain presidentti Woodrow Wilsonin ei annettu matkustaa Ranskaan ilman passia.