A cidadezinha é Galloway, no estado americano de Massachusetts, cidade natal dos cinco filhos e três filhas da família Martin, na primeira década do século XX. A cidade grande é Nova York, o caldeirão de culturas que atrai todos aqueles que buscam um futuro e uma identidade. Os Martin - sobretudo Peter - são dotados de uma energia e uma visão de vida especiais. Graças ao talento no futebol americano, Peter ganha uma bolsa para a universidade, o que o levará a dar um passo irreversível e o fará conhecer a grande metrópole americana, a eterna Grande Maçã, que guarda para todos o seu quinhão.
Quando foi publicado, em 1950, Cidade pequena, cidade grande valeu ao jovem Jack Kerouac o imediato reconhecimento como uma das mais interessantes novas vozes da literatura norte-americana. Além de romance de estréia, é considerado por muitos críticos como o prelúdio dramático e essencial de toda a sua obra.