Такое высокое занятие, разумеется, не может называться каким-нибудь дебильным словом, поэтому оно и не употребляется. Разве можем мы иметь что-то общее с теми, кто занимается киндерфилией, копоклефилией или конхиофией?
Хотя те, кто раздают диагнозы, слово придумали - петрофилия.
Впрочем, я лично считаю, что так может называться только коллекционирование всяких суйсеков

, а не минералов. Впрочем те, кто определяет диагнозы, видимо, не слишком разбираются в таких мелочах.