Как сказать системе, какие части окна являются клиентскими, а какие нет?

Нужно отрабатывать сообщения Windows. Чтобы сказать, что конкретная точка лежит в неклиентской области окна, надо обработать сообщения вида (WM_NCXXX), например:

• WM_NCPAINT - отрисовка,
• WM_NCCALCSIZE - расчет координат области,
• WM_NCHITTEST - принадлежность области (рамка, заголовок и т.п.).

Получение сообщений идет через WindowProc. Полный список сообщений есть в MSDN.