Правильно
Сбиваться — данный глагол следует писать с буквой «Ь». Он стоит в неопределенной форме. К слову уместно поставить вопрос «что делать?». Наличие буквы «Ь» в вопросе говорит о том, что эту букву следует писать и в слове.
А он продолжал сбиваться со счета каждый раз, когда кто-то начинал разговаривать.
Похоже, что мы начали сбиваться с пути.
Андрей начал сбиваться на каждой ноте.
Неправильно
Сбиватся, сбиватьца, збиваться.