Criada em 1989, está localizada na zona leste do município de São Paulo, na bacia do rio Aricanduva, região densamente ocupada. A área fazia parte da Fazenda Caguaçu, constituída e mantida por padres da Província Carmelitana Fluminense, entre 1722-1919. No início do século XX, a fazenda foi desmembrada em várias glebas e, em uma delas, surgiu a Fazenda Nossa Senhora do Carmo. Nos anos 1950, a fazenda foi adquirida pelo engenheiro Oscar Americano, que a transformou em espaço de lazer, realizou melhorias, plantou eucaliptos e criou um loteamento urbano, hoje, o Jardim Nossa Senhora do Carmo. Após seu falecimento, em 1974, a prefeitura de São Paulo comprou a fazenda e criou o "Parque do Carmo", inaugurado em 1976. Em 1987, em virtude da movimentação da população da região pela preservação da área, um parlamentar elaborou Projeto de Lei para a criação da APA.
Em 1989, a APA do Carmo foi criada por meio da Lei nº 6.409/89 e em 1993 foi editado o Decreto nº 37.678/93 que a regulamentou e estabeleceu o zoneamento em vigor. Por este Decreto foi criado também o seu Conselho Gestor, o primeiro de uma Unidade de Conservação do país, exercendo importante atuação até hoje.
A APA protege uma extensa área coberta com remanescentes da Mata Atlântica, que abrigam espécies da flora como jequitibás, paus-d’alho, canelas, bromélias, orquídeas. Na sua fauna, são comuns espécies como inhambus, pitiguaris, jacus, gambás, tatus-galinha, bicho preguiça, ouriços, morcegos e serpentes.