Обязательно ли заводить подоконник под раму? Долбить некуда — это балконная дверь, дальше пол.
В данном случае целесообразнее постелить плитку, а не подоконник, ИМХО. Но и плитку завести под раму.