通常の建材に問題が無く、アスベストに問題があるのはアスベストの特徴に大きな原因があります。
アスベストは繊維状になった鉱物のことで、漢字で書くと石綿と表記されます。
繊維状になっているアスベストは非常に細いのでちょっとした衝撃で空気中に飛散してしまうという特徴があります。
ここで問題になるのはアスベストが鉱物だという点です。普通の綿などの繊維ならば問題にならなくても、鉱物であるアスベストだと吸い込んだ場合にずっと肺などに残ってしまう可能性があるのです。
そのため長期間アスベストを吸い込み続けていると結果として肺ガンなどを誘発する可能性があるといわれています。
アスベストを使用する際にはアスベストが飛散しないように何らかの処置がされている場合も多いです。
ですが時間の経過と共にそれらの処置が劣化し、アスベストが飛散するようになることもあります。そのため現在ではアスベストの使用は中止されているようです。
アスベストについての情報は：厚生労働相 アスベスト情報