Коллектив образован из группы «Буква О» в 1991 году. Ранние работы сильно отличаются от поздних электронных, в них присутствуют элементы таких направлений, как хардкор, грайнд-кор, панк-рок, сайкобилли. В 1992 году группа совершает концертное турне по Германии перед которым записывает первый профессионально записанный альбом «Сеньоры Краковяки», изданный через год к моменту фактического развала группы .

Переломным моментом в истории группы является появление в составе Олега Кострова из группы «Фантом» и постепенная смена направления в сторону электронной музыки что можно заметить на так и оставшемся неизданным альбоме «ГиперУтёсов». С 1995 года творческое ядро коллектива составляют Олег Костров и Олег Гитаркин. Альбом 1996 года «Сосульки-убийцы» выдержан в стиле киберпанк. Стиль альбома «Нечеловек-видимка» 1997 года можно определить, как ретро-драм-энд-бейс. На нём используется множество семплов таких ретро-певиц, как Марлен Дитрих, Zarah Leander и Клавдия Шульженко.

Широкий успех и известность пришли с выходом альбома «Алло, супермен!» (1999), выпущенным в нескольких странах. В 2000 году клип на песню «Лучшая девушка в СССР» появляется на телевидении (в частности на MTV). В музыке появляются элементы направлений lounge и easy listening. Назревший между компаньонами творческий разрыв приводит к тому что после выступления в Берлине в декабре 2004-го года НОЖ прекращает публичные выступления и впоследствии Гитаркин на правах основателя проекта удаляет Кострова из группы и остается единственным в её составе.

В 2006 году Олег Гитаркин выпускает альбом «Danger: retrobolik». Сам музыкант объяснил, что этот альбом является примером того как группа звучала бы, если он не встретил Кострова. Жанр и настроение музыки несколько изменились, ушла беззаботность изи-листенинга к которой тяготел Костров, добавились явные отголоски проекта Гитаркина Messer Chups, которому он уделяет свое основное внимание. Следом, в 2008 году Олег Гитаркин практически сольно записывает новый альбом «Wake Up The Dead!» на котором развивает противопоставление НОЖа как чисто студийного проекта своему более актуальному, живому проекту Messer Chups.

Долгое время, помимо работы в Нож для Фрау Мюллер, Костров и Гитаркин параллельно занимались и сольными проектами. В конце 1990-х Гитаркин организует проект Messer Chups, основанный совместно с Игорем Вдовиным (в то время — вокалистом и гитаристом «Ленинграда») и немкой Anette Schneider и впоследствии ставший основным, с которым в последние годы Гитаркин успел многократно объездить пол-мира и Европу. Костров в 2003-м делает ставку на более молодежную аудиторию и актуальные стили ню-рейв, электро и т. п. и организует группу SuperSonic Future [2] с которой записывает несколько альбомов, но уже не добивается того успеха с которым встречали выход «Second Hand Dreams». Но тем не менее, его творчество приходит в каждый дом посредством телевидения, поскольку чуть ли не ежедневно звучит музыка Кострова или Гитаркина в рекламных роликах от Фанты до новинок немецкого автомобилестроения.

В данный момент Нож для Фрау Мюллер, как действующий проект, находится в стадии "заморозки" и дальнейшая его судьба не определена даже самим Олегом Гитаркиным.