沉香除了蜜香、乳香、清涼等令人喜愛的味道之外，有些沉香還會帶有酸味、腥臭等味道。只有足夠優質的沉香，其香韻才會顯得醇厚。沉香的香味并非單一的某種香味，而是獨一無二而又極具變化的悠遠綿長。沉香的這一特性，與其生長環境和形成有著極大的關系。
不同的地理環境使沉香樹在受傷之后愈傷組織在進行傷口愈合的條件也不同，最終形成的沉香香味也有差異。比如，西馬沉香外觀偏黃，香味較清甜；而東馬所產色澤外黃內黑，香味較濃郁。不同的樹種之間，結出的香味也會有所區別。比如，惠安系的蜜香樹種，由于樹脂甜度較高，所以結出的沉香有較好的甜韻，但也會因此常招來蟲子，所以惠安系沉香蟲漏較多。
而星洲系沉香的鷹木樹種，樹脂甜度低，因此結出的沉香味道很少有甜韻，而是涼意較突出，但從涼意上來說，還是能勝過惠安系沉香的。同時星洲系沉香因樹種的關系，會帶有藥香和一些躁氣。但樹種對沉香味道的影響也較籠統，惠安系沉香中也有涼意深重的柬埔寨沉香，星洲系沉香中也有甜韻迷人的文萊沉香。因此要說影響沉香味道的具體因素，還是產地和水土，不同水土環境，在一定程度上決定了沉香品質的高低。沉香的味道變化，離不開其結香方式。比如，生結沉香的味道比較張揚，生聞明顯，但一些生結沉香在熏聞的時候會散發出酸澀味；熟結和脫落的沉香味道更為內斂，常溫下味道清淡，只有熏染時才會爆發香味；而蟲漏沉香因結香時受到蟲蟻啃噬，含有生物的分泌液，因此香味偏甜。成年的沉香樹才有可能結香，而受傷后結香又需要十年左右，上等沉香的結香時間甚至需要百十年。所以，通常來說，沉香的結香時間越長，沉香的醇化程度越高，品質越高。有些沉香由于本身原因，或生香年頭太短、香料含水量過多，會產生生涼味，它的涼氣較濃，初聞便非常明顯，聞之不會有醒神之效，反會有發暈之感。生涼味往往伴隨著澀味。總而言之，沉香樹生長的海拔高度、土壤濕度、日照時間、菌種等因素都會影響到最終形成沉香的品質。沉香樹適宜生長在溫暖、水分充足、土壤酸性的環境中。不同氣候環境的影響下，會形成不同的菌種，而沉香樹因為受到不同菌種的傳染之后，也會結成不同品質的沉香。 
