Jo terminas kilęs iš graikiškų žodžių: ksilonas (medis) ir telefonas (garsas), taigi reiškia „ medžio garsas “. Ksilofonas yra mušamieji muzikos instrumentai, suformuoti iš įvairių dydžių medienos lakštų serijos ir horizontaliai išdėstyti kaip raktai, kurie smūgiuojami būgneliais, kad gautųsi garsai. Ksilofono kilmė atsirado iš Pietryčių Azijos XIV amžiuje, po šimtmečio jis pasiekė Afriką, o jo naudojimas išplito visame žemyne, tapdamas svarbiu jų kultūros instrumentu.
Afrikos vergai pristatė ją Lotynų Amerikai, kur ji yra žinoma kaip marimba. 1500-aisiais šis instrumentas pasiekė Europą ir buvo naudojamas kaip liaudies instrumentas Vidurio Europoje, o XIX amžiuje lenkų ir rusų kalbos vertėjai populiarino ksilofoną Vakarų Europoje. Šis instrumentas yra labai aktualus daugelyje klasikinių kūrinių. Pirmasis jo orkestro pasirodymas buvo Camille'o Saint-Saënso „Danza macabre“ (1874); šis kompozitorius taip pat naudojo jį „Gyvūnų karnavalo“ fosilijose (1886), kaip Igoris Stravinskis „Petruškoje“ (1911).
Ksilofonas reikalauja didelio mušamojo virtuoziškumo; Dabartinė jo technika yra labai sudėtinga ir reikalauja puikaus specialisto. Jo vaidmuo dabartiniame orkestre nėra pasiūlyti egzotišką kūrinio potraukį, bet tai yra nepriklausomas ir labai svarbus orkestro raidos tembras. Tokie instrumentai kaip ksilofonas, bet su metalinėmis plokštelėmis, vadinami metalofonais.