Existe toda uma química, toda uma coisa acontecendo naquele momento e você não deve, ou deve, atrapalhar com algum comentário inapropriado. O ruim é que você não sabe quando deve ou não se calar. Não existe um manual ou uma regra que lhe diga o certo ou errado, que lhe instrua a falar isso e a não falar aquilo. Tudo parte da sua percepção, do que você considera como sendo adequado ao momento. Você pode e vai errar algumas vezes, mas isso faz parte.
Na hora H tem quem goste de um comentário mais picante e tem que ache desnecessário qualquer coisa que se diga. Como felizmente, isso não é algo definitivo, cada um gosta de um jeito e por isso, o melhor que você tem a fazer, é tentar, usar o momento a seu favor e não se limitar ao que leu nos livros ou viu nos programas por aí. A opinião de poucos não representa o sentimento da maioria.