PREreview of ELABORAÇÃO DE UMA TAREFA PARA AVALIAR A COATIVAÇÃO SEMÂNTICA EM MULTILÍNGUES PORTUGUÊS-INGLÊS-ALEMÃO

Introdução

O presente parecer resulta de uma avaliação comunitária realizada pelos membros do "Language Club", um grupo dedicado à revisão de preprints no PreReview. Nossa análise incide sobre o preprint intitulado "Elaboração de uma Tarefa para Avaliar a Coativação Semântica em Multilíngues Português-Inglês-Alemão". Abaixo, apresentamos nossas impressões sobre o texto, comentários específicos e sugestões construtivas.

Avaliação Geral

O estudo "Elaboração de uma Tarefa para Avaliar a Coativação Semântica em Multilíngues Português-Inglês-Alemão" apresenta uma contribuição relevante para a pesquisa sobre coativação léxico-semântica, simplificando o processo de seleção de estímulos para outros pesquisadores. O artigo apresenta duas listas de estímulos, sendo que a lista 1 contém homógrafos interlinguísticos entre as línguas inglês-alemão (HI-IA) e a lista 2 homógrafos interlinguísticos entre as línguas inglês-português (HI-IP), organizadas em pares associados e não associados semanticamente na língua alvo da tarefa (inglês). Por exemplo, tree e leaf são associados em inglês, mas cargo e office não são.

No que tange aos métodos, os autores foram criteriosos quanto ao controle entre os pares com e sem His, levando em conta a frequência de palavra nas três línguas avaliadas, concretude apenas em inglês e número de letras (word extension) de cada palavra do par, isoladamente. Além disso, controlaram a associação semântica entre os pares de palavras prime e alvo em todas as condições. As listas foram avaliadas por bilíngues. Dado os resultados pode-se inferir que entre os avaliadores havia trilíngues português-inglês-alemão. No entanto, os autores não testaram a proficiência dos participantes, considerando tão-somente os que se autodeclararam proficientes na língua inglesa e relataram uso frequente (diário) dela em seu meio profissional ou acadêmico.

Dado o caráter experimental do estudo, é crucial fornecer detalhes suficientes sobre os diferentes fatores. Por exemplo, a escolha dos participantes não ficou completamente clara. Seria útil saber se todos são da mesma região e como foi estabelecido o contato com eles. Além disso, informações sobre se esses participantes utilizam uma segunda língua diariamente, e com que frequência, são aspectos relevantes que podem influenciar os resultados em diferentes condições experimentais.

Os resultados apontaram duas listas de estímulos contendo pares de palavras associadas ou não semanticamente com a presença de HI-IA e HI-IP julgados por seu significado em inglês por indivíduos brasileiros bilíngues falantes de português e inglês.

Os autores encerraram o artigo na discussão dos dados. No último parágrafo desse tópico, eles incentivaram para que pesquisadores publiquem lista de estímulos validados e padronizados sobre a coativação lexical. Portanto, não concluíram o estudo com base nos dados.

Com relação às partes que compõem o manuscrito, o resumo é compreensível, sucinto e apresenta com clareza o objetivo do trabalho, bem como os tópicos que são tratados ao longo do texto. A introdução, do mesmo modo, apresenta de forma clara a questão a ser tratada pelo manuscrito. A seção de métodos detalha adequadamente os procedimentos metodológicos usados na seleção e validação dos estímulos selecionados. São aplicados testes estatísticos que garantem confiabilidade aos resultados alcançados. Todas as tabelas apresentadas também são importantes para a discussão desenvolvida e exemplificam o que é exposto nos trechos aos quais se referem. De uma maneira geral, o texto está muito bem escrito, claro e estruturado, seguindo as normas da ABNT na referenciação das citações.

Os resultados alcançados pelo trabalho têm enorme contribuição à literatura da área, uma vez que o trabalho propõe métodos de validação das amostras experimentais em estudos que investigam coativação semântica em indivíduos bilíngues/multilíngues com combinações linguísticas específicas; e um procedimento de padronização na elaboração da tarefa de julgamento semântico.

Uma observação digna de nota: o estudo se mostra consonante à prática de ciência aberta por disponibilizar um futuro instrumento de investigações, além de buscar descrever, de forma pormenorizada, os critérios de elaboração do referido instrumento.

Comentários Pontuais

Na descrição do item 2.3, de validação das listas, não está claro o perfil dos avaliadores. No texto há menção aos bilingues português-inglês, mas não há menção ao perfil dos avaliadores da lista inglês-alemão.

Muitas palavras empregadas como “prime” do inglês são cognatas em português. Na quinta página do manuscrito, diz-se que os estímulos-controle eram “palavras em inglês, sem homógrafos no português e alemão, e não cognatas” (grifo meu). Entretanto, uma observação da listagem de palavras no Apêndice 1 (não “5”, como consta no final do artigo) mostra que algumas palavras apresentam status cognato. Por exemplo, entre as palavras da Lista 2, Condição 1, encontramos as palavras “archive”, “arm”, “bats” e “bills”. Ao passo que “arm” e “bats” podem ser considerados falsos amigos (“arma e bates”, em PB), a palavra “archive” forma um par cognato com “arquivo”. Nesse sentido, é possível que uma variável adicional esteja atuando sobre o estudo. No caso do exemplo em questão (“archive”), a cognata em português (“arquivo”) é associada semanticamente a “files”, o que levaria, ainda, a questionamentos sobre a inscrição “n.a.” na Tabela 1 (referente à Lista 2, Condição 1).

Foi verificado o status cognato dos primes? Quais cuidados metodológicos foram tomados nesse sentido? No caso de não terem sido tomados esses cuidados, é necessário haver uma discussão acerca do impacto de tal fato sobre o instrumento, de modo a caracterizá-lo ou não como uma possível limitação.

Em relação à logística do experimento, algumas questões são levantadas: (i) Onde aconteceu a coleta dos dados do experimento? Em um laboratório ou por meio de um link compartilhado pela internet? (ii) Houve uma sessão de treinos com os participantes? (iii) Como se deu a apresentação dos estímulos aos participantes (unicamente via ortografia ou por meio da combinação ortográfico-auditiva)?

A Tabela 1 parece confusa, sobretudo no que diz respeito aos exemplos referentes à Lista 2. Os itens lexicais “cargo” e “office” não parecer ser os mais “didáticos” para a apresentação das quatro diferentes condições propostas. Tais itens lexicais têm sido, constantemente, empregados como empréstimos em nossa língua (“Azul cargo”, “Tam cargo”, “Prime offices” para prédios administrativos). De fato, o termo “cargo” foi, por um dos avalidores, interpretado como em inglês. Somente ao final da leitura é que o mesmo associou o termo “cargo” a “emprego”.

Sugestões

1. Ao invés de “Elaboração de uma tarefa”, sugere-se que o título seja “Elaboração de listas de estímulos”. Uma sugestão alternativa seria: "A Coativação Semântica Em Multilíngues Português-Inglês-Alemão".

2. No resumo, sugere-se que a frase “Descrevemos o processo de preparação da tarefa e a disponibilizamos para investigações em estudos com trilíngues português-inglês-alemão tendo como língua alvo da tarefa o inglês” seja apresentada antes da frase que inicia por “Por meio de escala likert de 7 pontos (...)”. Dessa forma, ficará mais claro o fato de o julgamento da associação entre pares de palavra ter sido em inglês.

3. Em consonância com o título, tanto na frase do abstract quanto na seção referente ao “Presente Estudo”, sugere-se que fique claro que o objetivo não é “elaborar uma tarefa de julgamento semântico”, mas, sim, elaborar listas de palavras parta serem usadas em tarefas posteriores.

4. Na Introdução, citam-se estudos que visam a verificar “a influência da L1 sobre línguas adicionais” e a “influência da L2 sobre a L3”. Entretanto, considerando-se que a língua-alvo da tarefa será o inglês, tendo-se por base a ordem de aprendizagem Português (L1) – Inglês (L2) – Alemão (L3) dos participantes, a aplicação do instrumento poderá permitir verificar a influência da L3 sobre a L2, certo? Nesse sentido, sugere-se que (a) os autores poderiam citar, também, trabalhos que verificam a influência da L2 sobre a L2 (caso haja); (b) nas considerações finais, os autores poderiam ressaltar o fato de que tais listagens de palavras poderão permitir estudos em que se verifique tanto o papel da L1 e da L2 sobre a L3 (no caso de aprendizes que têm o alemão como L2 e o inglês como L3) quando o papel da L1 e da L3 sobre a L2 (no caso de aprendizes que têm o inglês como L2 e o alemão como L3). Tal fato demonstra um alcance ainda maior da proposta.

5. Sugere-se que se explicite o que os autores compreendem por bilinguismo/multilinguismo e como essa compreensão influenciou a seleção dos participantes do estudo. Ser bilíngue não significa ter o mesmo grau de proficiência nas quatro habilidades linguísticas da L2 (fala, escuta, escrita e leitura). É possível que um indivíduo bilíngue, por exemplo, tenha alto nível de proficiência na habilidade de leitura, mas não na habilidade de fala. Nesse sentido, é importante detalhar que usos específicos da língua-alvo estão sendo levados em consideração pelos autores para compreender um indivíduo como bilíngue/multilíngue.

6. Se o estímulo foi unicamente visual/ortográfico, sugere-se que os autores deixem evidente que a tarefa proposta é uma tarefa de processamento de leitura. Isso porque o processamento do fenômeno investigado (a coativação semântico-lexical) pode se mostrar diferente na modalidade falada da língua por influências de fatores inerentes a esta. Os conteúdos abordados nas três perguntas acima podem ter impacto nos resultados do experimento de validação, de modo que dar respostas a elas garantiria ainda mais segurança aos resultados do estudo.

7. Ainda quanto à seção de métodos, sugere-se que os autores esclareçam o que estão entendendo por “concretude” da palavra. Dar uma definição pode ajudar os leitores a entender melhor essa variável psicolinguística e de que maneira ela foi tratada na investigação.

8. Com relação ao experimento de julgamento por meio da escala likert de 7 pontos, mais informações referentes aos cuidados metodológicos precisam ser fornecidos: (a) os participantes realizaram o experimento em suas casas? (b) Que equipamento foi utilizado? (c) Como eram as telas do experimento que foram apresentadas aos participantes? (d) Que instruções os participantes receberam? (e) No caso dos oito participantes que julgaram as duas listas, ambos os julgamentos foram realizados no mesmo dia (com pausas entre eles)?

9. Sugere-se a substituição do termo “diferença significante” por “diferença significativa” e do termo "tanto... tanto..." por "tanto... quanto.."

10. Sugere-se fortemente que os autores esclareçam o perfil linguísticos dos participantes do teste de validação das listas, em especial com relação ao par inglês-alemão.

11. Para promover a replicabilidade, seria benéfico disponibilizar não apenas a lista de palavras, mas também todo o método experimental, desde a apresentação dos estímulos no Psytoolkit até a condução do próprio experimento.

12. Considerando a diversidade de públicos, seria útil retomar alguns conceitos, como o de concretude, especialmente para leigos ou pesquisadores iniciantes. Quanto às tabelas apresentadas, torná-las mais explicativas, detalhando os símbolos utilizados, como os símbolos + e –, contribuiria para uma compreensão mais clara.

13. A explicação "n.a. = não se aplica, pois o prime não é homógrafo" poderia ser estendida para os demais símbolos.

14. Quanto à seção de resultados, sugere-se que os autores explicitem melhor o critério de seleção dos participantes que julgaram os itens das duas listas de estímulos. Levando em consideração o modo por que está escrito na atual redação, não ficou claro o porquê de apenas falantes bilíngues inglês/português terem participado do experimento de validação quando, na verdade, há duas listas de estímulos, sendo a primeira lista constituída por homógrafos interlinguísticos inglês/alemão.

15. Na apresentação da Tabela do Apêndice 1, sugere-se informar novamente, em nota, todas as siglas utilizadas.

16. Como indicado acima, alguns termos na Tabela 1 são questionáveis (“cargo” e “office”). A sugestão é, portanto, que tais itens lexicais sejam modificados na tabela.

17. Ainda no que diz respeito à Tabela 1, sugire-se que ao termo “associação”, nos topos da terceira e quarta colunas, seja acrescido o termo “semântica”.

18. Por fim, sugere-se que a explicação da Tabela 1 (parágrafo seguinte à tabela) deva ser expandida, de modo que se faça menção aos exemplos fornecidos nas tabelas (tanto em português quanto em alemão). Esse exercício tornará a tabela mais didática sobretudo a leitores que não são especialistas da área.

19. Para assegurar os resultados da lista 1, não seria mais adequado que brasileiros falantes do português-inglês-alemão participassem da tarefa de julgamento semântico dessa lista? Sugere-se que os autores deixem mais claro esse ponto.

20. Ainda em relação aos resultados, seria mais um positivo do manuscrito expor as hipóteses que foram levadas em consideração em cada teste estatístico realizado.

21. Os resultados poderiam ser melhor discutidos na seção destinada à discussão.

22. Incluir uma conclusão ou considerações finais.

23. Como sugestão para estudos futuros, seria interessante considerar a mensuração do tempo de latência e explorar a possível associação entre o tempo e o julgamento por meio de uma escala Likert. Isso poderia enriquecer ainda mais as análises realizadas.

Conclusão:

O estudo "Elaboração de uma Tarefa para Avaliar a Coativação Semântica em Multilíngues Português-Inglês-Alemão" representa uma valiosa contribuição para a pesquisa sobre coativação léxico-semântica. Ao simplificar o processo de seleção de estímulos para pesquisas futuras, os autores fornecem um instrumento robusto para investigar a coativação lexical em indivíduos bilíngues/multilíngues com combinações linguísticas específicas.

Apesar dos méritos do estudo, algumas lacunas e questões metodológicas foram identificadas durante a avaliação comunitária. Recomendações importantes incluem a clarificação do perfil dos avaliadores, considerando especialmente a lista inglês-alemão, e a explicitação dos cuidados metodológicos relacionados ao status cognato dos "primes". A necessidade de informações detalhadas sobre a logística do experimento, aprofundamento na discussão dos resultados na seção apropriada e a sugestão de uma conclusão ou considerações finais para encerrar o estudo também foram ressaltadas.

Além disso, sugestões específicas foram feitas para melhorias na redação, como a mudança no título para refletir melhor o conteúdo do trabalho, ajustes na estrutura do resumo e na apresentação das tabelas, esclarecimentos sobre o bilinguismo/multilinguismo dos participantes, e a disponibilização completa do método experimental para promover a replicabilidade.

Como perspectiva para estudos futuros, a mensuração do tempo de latência e a exploração da relação entre o tempo e o julgamento através de uma escala Likert foram sugeridas como enriquecimentos para análises subsequentes. Em conjunto, estas sugestões visam aprimorar a qualidade e a transparência do estudo, fortalecendo sua relevância para a comunidade científica interessada na coativação lexical em contextos multilíngues.

Competing interests

The author declares that they have no competing interests.