Por que todos solicitam a IA de maneira diferente (mesmo quando desejam a mesma coisa)

Recentemente, fiz um pequeno experimento. Pedi a oito amigas mães – pessoas muito parecidas comigo socioeconomicamente e com filhos da mesma idade – que procurassem ligas locais de basquete para seus filhos. Minhas únicas instruções foram pesquisar como se eles realmente quisessem uma boa resposta. (E, claro, “bom” é subjetivo.)

Cada um deles fez isso de maneira diferente.

Uma mãe pediu ao ChatGPT para fazer uma dramatização e explicou as qualidades que ela procura em uma liga:

“Você é um treinador de basquete juvenil muito conhecido em (região). Moramos em (cidade). Tenho um menino de 7 anos em desenvolvimento. Quero inscrevê-lo no basquete. Quais são as melhores ligas de basquete na minha região? Quero que ele seja nutrido e ensinado todas as habilidades que são importantes para o crescimento a longo prazo, mas também que alimente seu amor pelo basquete.”

Outro focado na localização:

“Por favor, encontre uma liga de basquete para idades de 7 a 10 anos perto da área (CEP).”

Uma delas deu um nome ao ChatGPT, mas não especificou sua área (risos):

“Ei, Dolly, você pode recomendar ligas de basquete para minha filha de 7 anos na minha região?”

E, se valer a pena, aqui está minha sugestão: “Você pode recomendar alguns clubes ou ligas de basquete não competitivos?”

Mesma intenção (geral). Mesma fase de vida. Solicitações totalmente diferentes.

Isso ficou comigo porque reflete perfeitamente o que descobrimos na recente pesquisa em larga escala da SparkToro sobre recomendações de IA.

Em nosso estudo de visibilidade de IA com a Gumshoe, pedimos a centenas de pessoas que escrevessem avisos que expressassem a mesma intenção subjacente. Quando analisamos essas instruções, os resultados foram surpreendentes. As pessoas quase nunca formulavam suas instruções de maneira semelhante. A pontuação média de similaridade semântica entre as solicitações escritas por humanos foi de 0,081 – o que significa que o texto variou dramaticamente, mesmo quando todos queriam o mesmo tipo de resposta.

E este é apenas um comportamento humano normal. As pessoas não reduzem a intenção a um conjunto organizado de palavras-chave. Eles explicam. Eles se qualificam. Eles adicionam contexto. Eles descrevem restrições. Eles personalizam a pergunta com base em sua própria experiência.

Em outras palavras: as pessoas não “procuram” mais. Eles perguntam. E cada vez mais com os LLMs, eles… falam.

Mesma intenção, palavras diferentes – resultados semelhantes

Muitas ferramentas de visibilidade de IA muitas vezes herdam involuntariamente suposições de pesquisas baseadas em palavras-chave:

• Há um conjunto pequeno e representativo de prompts que vale a pena acompanhar
• O fraseado é relativamente estável
• A otimização para um punhado de consultas leva você até lá

Mas tanto a pesquisa SparkToro/Gumshoe quanto meu pequeno experimento com a mãe no basquete mostram por que essa suposição desmorona. Se dez pessoas com a mesma necessidade formularem suas perguntas de dez maneiras diferentes, o rastreamento da visibilidade em um ou dois prompts “ideais” dirá muito pouco sobre a frequência com que você realmente aparece para pessoas reais.

É por isso que a visibilidade da IA ​​pode parecer confusa ou pouco confiável. O lado de entrada do sistema é muito mais diversificado do que os profissionais de marketing podem prever ou controlar. Mas há algo tranquilizador no estudo SparkToro/Gumshoe: apesar da enorme variação na forma como os humanos escreviam seus avisos, as ferramentas de IA muitas vezes retornavam grupos semelhantes de marcas através dessas frases. A redação e/ou a ordem mudaram, mas o conjunto de recomendações frequentemente se sobrepôs.

Uma conclusão sólida disso: os modelos de IA geralmente são bons no reconhecimento de intenções subjacentes, mesmo quando a linguagem superficial parece muito diferente.

Para profissionais de marketing e fundadores, isso reformula o problema. A questão não é “para qual prompt exato devo otimizar?” É “estou aparecendo de forma confiável em toda a vizinhança semântica desta intenção?” Esse é um desafio significativamente diferente – e mais tratável.

Um problema de pesquisa de público, não um problema de medição

É por isso que continuo voltando à mesma conclusão: A visibilidade da IA ​​é um problema de pesquisa de público antes de ser um problema de medição.

Se você quiser aparecer nas respostas da IA, não comece perguntando qual prompt rastrear, sua classificação no ChatGPT ou mesmo sua classificação no Google. Um melhor ponto de partida é perguntar a si mesmo ou à sua equipe:

• Como as pessoas realmente descrevem esse problema?
• Que restrições eles mencionam?
• Que palavras eles usam quando estão inseguros, sobrecarregados ou comparando opções?
• Como o idioma deles muda com base no nível de experiência, confiança ou urgência?

E o mais importante: como posso fornecer respostas a estas perguntas, online, numa linguagem que corresponda à forma como as pessoas reais falam?

Para nós da SparkToro, ser mencionado pelos LLMs não era a estratégia. O que fizemos sempre foi educar as pessoas sobre a pesquisa de público, torná-la o mais fácil possível para os profissionais de marketing e fazer com que associassem a pesquisa de público a nós – seus amigos da SparkToro. É por isso que você pode ler tudo em nosso site, assistir aos nossos webinars anteriores sobre horário comercial em YouTubee ouça ou assista Rand e eu em vários podcasts evangelizando pesquisas de público e fazendo um bom marketing. Através deste forte foco na criação de conteúdo, distribuição e relações públicas, o resultado foi a visibilidade da IA.

As equipes que já investem em pesquisa de público – ouvindo a linguagem real em fóruns, avaliações, postagens sociais, tickets de suporte e conversas – e vinculam o conhecimento aos seus programas de marketing e negócios têm uma vantagem estrutural aqui. Eles não estão apenas construindo uma estratégia de conteúdo melhor. Eles estão construindo o tipo de presença distribuída, interconectada e em linguagem real que os modelos de IA utilizam ao formar recomendações. Postagens de blog com links entre si. Transcrições em vídeos do YouTube. Menções em subreddits. Recursos de suporte ao cliente fáceis de encontrar e analisar. Mídia conquistada que coloca a marca no contexto certo.

Ok, e agora?

Depois de fazer a pesquisa de público, o trabalho passa a ser traduzi-la em conteúdo. Se você descobrir que seus clientes descrevem seus problemas como “Não sei por onde começar” em vez de “Preciso de uma solução para X”, isso não é apenas um insight pessoal – é uma frase para construir conteúdo. Escreva a postagem do blog. Responda à pergunta do fórum. Crie o guia de comparação. Faça com que esse idioma seja indexado e rastreado pela web de uma forma que o posicione como a resposta óbvia.

As oito instruções desses oito pais refletiram modelos mentais ligeiramente diferentes da mesma tarefa. A mãe que procurava uma liga de carinho estava otimizando para algo diferente da mãe que forneceu um CEP. Mas todos procuravam uma liga de basquete adequada à idade. Eles apenas tinham filtros ligeiramente diferentes e formas próprias de comunicação. (Olá, Dolly!)

Se a sua estratégia de visibilidade de IA pressupõe que as pessoas fazem perguntas da mesma maneira, ela já está desalinhada com a realidade. Mas se você passou tempo real entendendo como seu público fala, você está construindo algo que funciona com a forma como os modelos de IA realmente funcionam.