Слова являются синонимами, но разные приставки могут придавать разный контекст глаголов.
Правильно
Застеклить — вставить стёкла куда-либо, заделать стеклянной поверхностью. Приставка «за» придаёт контекст заграждения от улицы с помощью стёкол, при этом размер и характер объекта неважен.
Нам нужно застеклить балкон, который выходит во двор.
Раму мы уже сделали, осталось только её застеклить.
В следующем году я хочу утеплить и застеклить балкон.
Остеклить — это слово имеет такое же значение, однако приставка «о» придаёт контекст окружения, кругового характера действия или явления. Соответственно, остеклить можно что-либо большое, имеющее углы или повороты.
Чтобы остеклить всю террасу тебе не хватить денег.
Папа решил остеклить всю лоджию.
Остеклить полукруглый балкон будет проблематично.