gcc (GNU Compiler collection) - хороший компилятор. Там же можно скачать отладчик - gdb. А для начала IDE лучше вообще не использовать, можно выбрать хороший текстовый редактор, например, VIM. Если будут вопросы, по началу могу помочь.
Добавление.
Для того, чтобы выполнить компиляцию нужно в командной строке ввести:
gcc имя_файла_с_исходным_кодом -o имя_исполняемого_файла -lg++
имя_исполняемого_файла
- это тот файл, который создаст компилятор в результате своей работы (его имя можно не указывать, тогда по умолчанию компилятор создаст файл a.out).
-lg++ - это привязка компилятора к библиотеке C++. Для обучения этого достаточно, но на будущее лучше для всего писать make файлы.