手話は手や指、腕を使う手指動作だけでなく、非手指動作と呼ばれる、顔の部位（視線、眉、頬、口、舌、首の傾き・振り、あごの引き・出しなど）が重要な文法要素となる。この非手指動作によって、使役、命令、疑問文、条件節、理由節などの文法的意味を持たせることができる。ただし、日本手話の受け身形については空間定位による。
手話は「あいうえお…」の五十音、またはアルファベットをあらわす指文字とは区別され、「山」「犬」「走る」「美しい」などの名詞、動詞、形容詞を一動作であらわすのが基本である。聴者が普段する身振り（例えば日本では「男」を親指で、「女」を小指で示すなど）と共通した表現も見られる。
日本の手話
日本では、ろう者同士の間で生まれ、広がった日本手話(Japanese Sign Language, JSL)のほか、日本語と手話とをほぼ一対一に対応させた日本語対応手話（Signed Japanese）、また、その両者の中間的な表現（中間手話Pidgin Signed Japanese）等が使われている。日本手話の文法においては、非手指動作（表情や頭部の動き、口型など）が重要な意味を持つ。しかし、日本語対応手話 は、基本文法が日本語のため、非手指動作はほとんど使われない（日本語の文法に則って手話単語を表現する。ただし名詞の多くが手指表現＋口型で意味が確定 される点は日本手話と同じ）。このように、言語学的な観点でみると両者は異なるが、実際の運用面では両者がある程度混在している[1]。
また、地域によって一部の手話単語が異なる。有名な例（手話単語の方言）では、「名前」の手話単語が東日本と西日本で異なることが挙げられる。
急進的なろう者とそれに同調する聴者（D-PROや全国ろう児を持つ親の会、金澤貴之など）は、日本語対応手話は独自の文法を持っていないので手話とはいえず、これに対し手話という文字列を使うべきではないと主張し、1990年代から2000年代前半にかけては「手指日本語」、「シムコム」という語を用いていた[2]。だが、このような主張については排他的であるとの批判的な意見が多数であったことから[3]、最近では「手指日本語」、「シムコム」という用語の使用は少なく、「（日本語）対応手話」との呼び方がほぼ定着した。
