W grudniu 1966 roku wraz Janem Kantym Pawluśkiewiczem założył grupę Anawa. W 1971, w rozszerzonym składzie, nagrał album „Korowód”, śmiało łącząc muzykę kameralną z ludową, rock progresywny z elementami jazzu. Jeszcze w tym samym roku Grechuta opuścił Anawę, a w 1972 roku (wraz z gitarzystą Pawłem Ścierańskim) powołał do życia formację Wiem. Wspólnie starali się znaleźć oryginalny sposób na ubranie w dźwięki wierszy współczesnych poetów: Moczulskiego, Śliwiaka, Krynickiego, nagrał albumy „Droga za widnokres” (1972) i „Magia obłoków” (1974).

W roku 1977 Grechuta ponownie nawiązał współpracę z Pawluśkiewiczem. Bazując na tekstach Stanisława Ignacego Witkiewicza opracowali musical „Szalona lokomotywa”.W 1979 roku nagrał płytę opartą na wierszach Tadeusza Nowaka. Album „Śpiewające obrazy”z 1981 roku (poza oryginalnymi utworami) zawierał także fragmenty muzyki skomponowanej do inscenizacji szekspirowskiego „Otella”. W latach osiemdziesiątych Grechuta nagrywał rzadko. Wydał dwa tomiki poezji, zajął się malarstwem. Do studia powrócił w 1989 roku, kiedy to ukazał się jego „Krajobraz pełen nadziei” z nowymi kompozycjami. Konsekwentnie pozostawał poza głównym nurtem muzyki popularnej, wyjatkiem jest utwór „Kraków”, nagrany z młodszym o pokolenie zespołem Myslovitz w 2003 roku. Ze względu na ciężką chorobę, koncertował coraz rzadziej.