В русском языке сложилась особая традиция употребления этих существительных.
Правильно
Заведующий, заведующая (чем?) — поскольку само существительное образовано от глагола «заведовать» (чем-либо), то оно всегда подразумевает вопрос «чем?». Соответственно зависимое существительное употребляется только в форме творительного падежа (отделом, кафедрой, лабораторией, отделением, складом, магазином и т.д.).
Заведующий кафедрой находится на собрании.
Обратитесь к заведующей отделом логистики.
Оксана работает заведующей магазином.
Выбор рода существительного также зависит от стиля речи.
Заведующий — в официально-деловом стиле речи принято употреблять существительное мужского рода. Названия должностей в должностных инструкциях также пишут в форме мужского рода.
По должностной инструкции заведующий отделом не обязан этого делать.
Заведующий складом несет материальную ответственность.
Нам нужен заведующий архивом предприятия.
Заведующий аптекой отвечает за поддержание остатков товара.
Заведующая — если какую-либо должность занимает женщина, то возможно употребление существительного в форме женского рода. Эта норма закреплена правилами русского языка.
Заведующая кафедрой математики.
Это наша заведующая отделом логистики.
Мы взяли на работу новую заведующую аптекой.
Заведующая музеем сама провела нас по залам.
Неправильно
Заведующий чего, заведующая чего.