А зачем ее утеплять? Если Вы ее утеплите, то наоборот, оградите доступ тепла земли к лестнице. Вы лучше утеплите сверху, чтоб оградить доступ холода с поверхности земли к лестнице.
Кстати, по этой же причине не надо утеплять стены погреба. Только крышу, и то при условии, что погреб на недостаточной глубине залегания.