Значение этих двух прилагательных в русском языке разное.
Правильно
Костный — свойственный кости, содержащийся в костях; по значению связанный со словом «кость». Наиболее часто это прилагательное употребляется в медицинской терминологии.
У пациента диагностирована костная мозоль.
Костный шип вызывает болезненные ощущения.
Для собак мы готовим костный фарш.
Костяной — добываемый или сделанный из кости. Прилагательное употребляется в общей лексике для характеристики чего-либо, что сделано из кости или материала, подобного кости.
У одного посетителя была удивительная костяная трость.
Костяная статуэтка украшала полку камина.
В производстве используется костяной уголь.