The Implicit Association Test in obsessive-compulsive disorder (IAT-OCD): internal consistency and correlation with explicit assessments
Mara Sizino da Victoria; Leonardo F. Fontenelle
Departamento de Psiquiatria e Medicina Legal do Instituto de Psiquiatria da Universidade Federal do Rio de Janeiro (IPUB/UFRJ), Programa de Ansiedade e Depressão
RESUMO
CONTEXTO: Avaliações tradicionais de sintomas obsessivo-compulsivos, baseadas na introspecção, estão sujeitas a diversas variáveis, como os níveis de insight apresentados pelo paciente.
OBJETIVOS: Neste estudo, nosso objetivo foi o de avaliar a consistência interna e as correlações clínicas de um teste que busca identificar a existência de um viés cognitivo implícito em pacientes com transtorno obsessivo-compulsivo (TOC).
MÉTODOS: Quarenta pacientes com TOC realizaram o teste de associação implícita para o TOC (TAI-TOC) e responderam a três instrumentos de autoavaliação [Inventário de Ansiedade de Beck (BAI), Inventário de Depressão de Beck (BDI), Inventário de Obsessões e Compulsões - Revisado (OCI-R)].
RESULTADOS: O valor do alfa de Cronbach com itens de treino foi de 0,83 e sem o treino foi de 0,79. Não foram observadas correlações significativas entre os escores gerados pelo TAI-TOC e os instrumentos de autoavaliação, i.e., BDI, BAI e diferentes dimensões do OCI-R.
CONCLUSÃO: Nossos achados apontam para uma elevada consistência interna do TAI-TOC. A ausência de correlações entre o TAI-TOC e diferentes dimensões do OCI-R sugere que medidas implícitas e explícitas de sintomas obsessivo-compulsivos podem formar constructos independentes. Estudos futuros, com maior número de pacientes, são necessários para confirmar essa hipótese.
OBJETIVOS: Neste estudo, nosso objetivo foi o de avaliar a consistência interna e as correlações clínicas de um teste que busca identificar a existência de um viés cognitivo implícito em pacientes com transtorno obsessivo-compulsivo (TOC).
MÉTODOS: Quarenta pacientes com TOC realizaram o teste de associação implícita para o TOC (TAI-TOC) e responderam a três instrumentos de autoavaliação [Inventário de Ansiedade de Beck (BAI), Inventário de Depressão de Beck (BDI), Inventário de Obsessões e Compulsões - Revisado (OCI-R)].
RESULTADOS: O valor do alfa de Cronbach com itens de treino foi de 0,83 e sem o treino foi de 0,79. Não foram observadas correlações significativas entre os escores gerados pelo TAI-TOC e os instrumentos de autoavaliação, i.e., BDI, BAI e diferentes dimensões do OCI-R.
CONCLUSÃO: Nossos achados apontam para uma elevada consistência interna do TAI-TOC. A ausência de correlações entre o TAI-TOC e diferentes dimensões do OCI-R sugere que medidas implícitas e explícitas de sintomas obsessivo-compulsivos podem formar constructos independentes. Estudos futuros, com maior número de pacientes, são necessários para confirmar essa hipótese.
Palavras-chave: Transtorno obsessivo compulsivo, memória implícita, teste de associação implícita.
ABSTRACT
BACKGROUND: Traditional assessments of obsessive-compulsive symptoms, based on patients' introspection, are subject to several factors, including the levels of insight presented by them.
OBJECTIVES: In this study, our goal was to assess the internal consistency and clinical correlations of a test that seeks to identify the existence of an implicit cognitive bias in patients with obsessive-compulsive disorder (OCD).
METHODS: 40 patients with OCD performed the implicit association test for OCD (IAT-OCD) and answered three instruments of self-assessment [Beck Anxiety Inventory (BAI), Inventory, Beck Depression Inventory (BDI), Obsessive-Compulsive Inventory-Revised (OCI-R)].
RESULTS: Cronbach's alpha with IAT-OCD training items was 0.83 and without them 0.79. There were no significant correlations between the IAT-OCD scores and the instruments of self-assessment, e.g., BDI, BAI and different dimensions of the OCI-R.
DISCUSSION: Our findings are consistent with a high internal consistency of the IAT-OCD. The absence of correlations between the IAT-OCD and different dimensions of the OCI-R suggests that implicit and explicit measures of obsessive-compulsive symptoms may be independent constructs. Future studies, with greater number of patients, are needed to confirm this hypothesis.
OBJECTIVES: In this study, our goal was to assess the internal consistency and clinical correlations of a test that seeks to identify the existence of an implicit cognitive bias in patients with obsessive-compulsive disorder (OCD).
METHODS: 40 patients with OCD performed the implicit association test for OCD (IAT-OCD) and answered three instruments of self-assessment [Beck Anxiety Inventory (BAI), Inventory, Beck Depression Inventory (BDI), Obsessive-Compulsive Inventory-Revised (OCI-R)].
RESULTS: Cronbach's alpha with IAT-OCD training items was 0.83 and without them 0.79. There were no significant correlations between the IAT-OCD scores and the instruments of self-assessment, e.g., BDI, BAI and different dimensions of the OCI-R.
DISCUSSION: Our findings are consistent with a high internal consistency of the IAT-OCD. The absence of correlations between the IAT-OCD and different dimensions of the OCI-R suggests that implicit and explicit measures of obsessive-compulsive symptoms may be independent constructs. Future studies, with greater number of patients, are needed to confirm this hypothesis.
Keywords: Obsessive-compulsive disorder, implicit memory, implicit association test.
Introdução
As avaliações psicopatológicas tradicionais baseadas em instrumentos de autoavaliação apresentam uma série de limitações. Primeiro, os instrumentos de autoavaliação dependem da atividade consciente do indivíduo e são suscetíveis às estratégias cognitivas de resposta (i.e., um indivíduo pode responder àquilo que ele pensa ser a melhor resposta, e não àquilo que ele realmente pensa). Segundo, nem sempre todos pacientes arrolados em um determinado estudo estão completamente conscientes do seu estado sintomático1. Essa observação é provavelmente relevante na avaliação de indivíduos com a autocrítica comprometida (pobreza ou ausência deinsight).
Superando as desvantagens das medidas de autoavaliação, o Teste de Associação Implícita (TAI) independe da reflexão consciente. O TAI é considerado uma medida indireta, porque avalia a existência de um viés cognitivo(i.e., memória implícita) a partir de uma tarefa de associação de itens, em que o indivíduo responde de maneira automática, sem a interferência do julgamento crítico. O TAI tem sido tradicionalmente empregado em investigações que buscam estudar a existência de preconceitos, sejam eles referentes à raça ou à orientação sexual2-4, bem como a autoestima de populações não clínicas5,6. Mais recentemente, o TAI foi desenvolvido como instrumento para avaliação de vieses cognitivos em diferentes transtornos psiquiátricos, como o transtorno de ansiedade social7,8, a fobia a animais9, o transtorno de personalidade borderline10, o transtorno do pânico11 e a depressão12,13. Neste último grupo de pacientes, o TAI foi utilizado com a hipótese de que indivíduos com depressão apresentariamum viés cognitivo para palavras negativas se comparados ao grupo controle. Para executar tal tarefa, um experimento foi desenvolvido utilizando pronomes (por exemplo, "eu", "eles"), afetos negativos (por exemplo, "desamparo", "tristeza") e afetos positivos (por exemplo, "esperança", "alegria"). Os resultados mostraram que o tempo de resposta para os pronomes pessoais de referência a si e palavras de afetonegativo era menor que para afetos positivos no grupo de pacientes depressivos. O experimento também mostrou a ausência de correlação com inventários de autoavaliação (por exemplo, o Inventário de Depressão de Beck)13. Este experimento ilustra como os TAIs são instrumentos de outra natureza, uma avaliação complementar aos tradicionais inventários e escalas de autopreenchimento.
Pacientes com transtorno obsessivo-compulsivo (TOC) frequentemente descrevem seu estado clínico de forma pouco confiável, seja por constrangimento e vergonha diante do examinador14, seja por prejuízo do insight, ao não reconhecerem suas obsessões e compulsões como excessivas15. Cientes das limitações que avaliações psicopatológicas tradicionais apresentam nesse cenário, elaboramos um TAI que busca identificar a existência de um viés cognitivo em pacientes com TOC, levando em conta a ocorrência de diferentes dimensões de sintomas (contaminação-lavagem, pensamentos de tabu-checagem, simetria-organização e colecionamento). Neste estudo, nosso objetivo foi de: (1) avaliar a consistência interna do TAI-TOC por meio do alfa de Cronbach; (2) avaliar correlações do TAI-TOC com instrumentos tradicionais de autopreenchimento.
Métodos
1. Participantes
Participaram da pesquisa 40 pacientes (21 mulheres e 19 homens) diagnosticados com TOC, segundo o DSM-IV. Todos foram selecionados consecutivamente entre aqueles em atendimento no Programa de Ansiedade e Depressão do Instituto de Psiquiatria da Universidade Federal do Rio de Janeiro (IPUB/UFRJ). Os critérios de inclusão foram: (1) apresentar o diagnóstico de TOC, associado ou não a diferentes comorbidades; na presença de uma comorbidade, o TOC deveria ser o diagnóstico primário, tanto em termos cronológicos quanto em termos de gravidade; (2) ter, pelo menos, o segundo grau completo; (3) manejar o teclado de um computador de forma adequada. Pacientes que apresentavam prejuízos cognitivos (e.g. retardo mental) foram excluídos. Os pacientes, com idade média de 37,1 anos (DP = 3,9), estavam em acompanhamento médico há pelo menos um ano, apresentando quadro sintomatológico estável.
2. Instrumentos e procedimentos
Foram utilizados três instrumentos de autoavaliação [Inventário de Ansiedade de Beck (BAI)16,17, Inventário de Depressão de Beck (BDI)17,18 e Inventário de Obsessões e Compulsões - Revisado (OCI-R)19], além do Teste de Associação Implícita para TOC (TAI-TOC)20, construído para avaliar correlatos implícitos dos sintomas do TOC. A ordem de execução dos testes e avaliações foi a seguinte: primeiro, TAI-TOC; segundo, OCI-R; terceiro, BAI; quarto, BDI.
3. Descrição do TAI-TOC
O TAI-TOC é um instrumento respondido no computador. Palavras e imagens são apresentadas no monitor e o participante responde utilizando apenas duas teclas. O fundo da tela é preto; as palavras são brancas ou amarelas e aparecem em sequência. Na tela, aparecem palavras à esquerda, à direita e ao centro. Ao centro, junto com uma palavra, é mostrada uma imagem. O conjunto do centro (palavra e imagem) é o alvo da avaliação do participante, que deve associá-lo à palavra da esquerda ou da direita. Caso o sujeito deseje associar o conjunto com a palavra da esquerda, a tecla de resposta é a "e"; caso deseje associá-lo com a da direita, a tecla é a "i". O teste é organizado em sete blocos.
O bloco 1 é considerado de associação simples e é composto por 24 palavras que aparecem, uma a uma, ao centro. Neste bloco, a tarefa de associação está relacionada ao conceito de "nervoso versus calmo", i.e., a palavra da esquerda é "nervoso" e a da direita, "calmo". Elas ficam fixas durante a apresentação deste bloco. Ao centro, as seguintes palavras são mostradas: "agressão", "estupro", "pecado", "sujo", "bagunça", "perda", "verificado", "conferido", "perdoado", "limpo", "organizado" e "guardado". Junto das palavras aparecem imagens que correspondem às palavras. Cada palavra é vista duas vezes pelo participante.
O bloco 2 também é considerado de associação simples e composto por 24 palavras. Neste bloco, a tarefa está relacionada ao conceito de "bom versus ruim". A palavra que aparece fixa à esquerda é "bom" e a da direita, "ruim". Ao centro, as seguintes palavras são apresentadas: "sereno", "positivo", "aliviado", "tranquilo", "seguro", "bom", "ansioso", "negativo", "preocupado", "tenso", "inseguro" e "ruim". Neste bloco não há imagens. Cada palavra é vista duas vezes pelo participante.
Os blocos 3 e 4 são considerados de associação dupla, porque há a apresentação de um par de palavras à esquerda e um par de palavras à direita. Estão ligadas aos conceitos de "nervoso ou ruim" versus "calmo ou bom". O primeiro par é mostrado fixo à esquerda da tela e o segundo, a direita. As palavras e imagens do centro são as mesmas dos blocos 1 e 2. Os blocos 3 e 4 são idênticos, mas o 3 é considerado treino e se compõe de 24 palavras ao centro; o bloco 4 é chamado de teste e é composto por 48 palavras ao centro.
O bloco 5 é o bloco 1 invertido nas palavras fixas. Portanto, à esquerda aparece "calmo" e à direita, "nervoso". As palavras e imagens do centro são iguais às do bloco 1. Já os blocos 6 e 7 também são de associação dupla. São semelhantes aos blocos 3 e 4 só que invertidos. Por isso, as palavras fixas da esquerda são "calmo ou ruim" e as da direita são "nervoso ou bom". As palavras e imagens do centro são as mesmas dos blocos 1 e 2. Os blocos 6 e 7 são idênticos, mas o 6 é de treino e tem 24 palavras ao centro; o bloco 7 é chamado de teste e é composto por 48 palavras ao centro.
Todas as palavras e imagens mostradas ao centro aparecem uma a uma de forma aleatória, mas respeitando o número de vezes por bloco. Cada vez que o participante faz uma associação, a palavra é trocada e é gerado um tempo de reação para cada associação. No total, são 240 respostas, a partir das quais resultarão 240 tempos de reação. Os blocos 3 e 4, 6 e 7 são chamados blocos críticos e são o foco de análise20. O esquema do teste está apresentado na tabela 1.
4. Redução dos dados
A redução dos dados é feita em todos os TAIs e segue as seguintes etapas21: primeiro, nos blocos críticos (3 e 4, 6 e 7), as primeiras duas tentativas de treino (dos 24 itens) e as primeiras duas tentativas do teste (dos 48 itens) são retiradas, deixando 68 tentativas no total; segundo, as tentativas com latência menor que 100 e maior que 10.000 milésimos de segundos são ajustadas, respectivamente, para 100 e 10.000 milésimos de segundos; terceiro, os resultados são transformados em logaritmo (log).
Resultados
1. Consistência interna
A consistência interna foi estimada segundo o alfa de Cronbach. Para calcular o Cronbach, algumas etapas foram seguidas21: primeiro, a redução de dados em três etapas foi cumprida; segundo, cada latência dos blocos 3 e 4 foi subtraída dos blocos 6 e 7 (primeira latência do bloco 3 menos a primeira latência do bloco 6, segunda latência do bloco 3 menos a primeira latência do bloco 6 etc.). O alfa de Cronbach foi calculado com os itens de treino (68 itens) e sem o treino (46 itens). O valor do alfa de Cronbach com o treino (68 itens) foi de 0,83 e sem o treino (46 itens) foi de 0,79.
2. Correlações TAI-TOC, BAI, BDI e OCI-R
Para analisar a relação entre as medidas, os escores do TAI-TOC foram transformados em escore D21, como se segue: primeiro, a redução de dados em três etapas foi realizada; segundo, a média de latência de cada sujeito dos blocos 3 e 4 foi subtraída da média de latência de cada sujeito dos blocos 6 e 7 (primeira média da latência do bloco 3 menos a primeira média da latência do bloco 6, segunda média da latência do bloco 3 menos a primeira média da latência do bloco 6 etc.); terceiro, essas diferenças foram divididas pelo desvio-padrão de cada sujeito.
As correlações do TAI-TOC com as medidas de autoavaliação foram ausentes: Pearson com BAI foi de r = 0,17; com BDI foi de r = 0,17; com OCI-R foi de r = 0,01. Entre as medidas de autoavaliação, as correlações mostram-se positivas, de moderadas a fortes: Pearson, BAI com BDI foi de r = 0,52; p < 0,01; BAI com OCI-R foi de r = 0,71; p < 0,01; BDI com OCI-R foi de r = 0,48; p < 0,05. Os resultados encontram-se na tabela 2.
Discussão
Uma parcela considerável de pacientes com TOC é parcial ou totalmente incapaz de reconhecer a irracionalidade de seus sintomas. Outros pacientes evitam falar sobre seus sintomas, porque pensam que, ao descreverem seus medos, eles de fato se concretizam. Por essas razões, muitos pacientes omitem seus sintomas para familiares próximos ou mesmo durante a avaliação psiquiátrica14. O comprometimento na autoavaliação desses pacientes pode levar a resultados pouco válidos em inventários tradicionais, descrevendo ausência ou número reduzido de sintomas obsessivo-compulsivos. Daí a necessidade de dispor de instrumentos que, diante de uma negativa do examinando, possam ainda assim identificar a presença de determinados sintomas.
Em nosso estudo, o TAI-TOC demonstrou um alfa de Cronbach elevado (0,83 com treino e 0,79 sem treino), sugerindo a existência de consistência interna satisfatória entre os itens elaborados para o teste. Esse achado é consistente com estudos anteriores que investigaram a consistência interna de TAI para ansiedade e encontraram valores de alfa de Cronbach que vão de 0,77 a 0,8222,23. No entanto, no que diz respeito à relação entre medidas explícitas e implícitas, não foram encontradas correlações entre os escores do TAI-TOC com as medidas de autoavaliação (r = 0,17 com BAI e BDI e r = 0,01 com OCI-R).
De fato, a literatura sobre as correlações entre medidas explícitas e implícitas apresenta resultados pouco conclusivos. Enquanto alguns estudos demonstram ausência de correlação5,12,13,24, outros encontraram correlações significativas entre esses dois parâmetros25. Tentativas infrutíferas de correlacionar medidas explícitas com implícitas (i.e., TAI) foram particularmente comuns em estudos de psicologia social26. Alguns pesquisadores argumentam que medidas implícitas e explícitas expressam índices qualitativamente diferentes de avaliação6, enquanto outros defendem que são características representativas de um mesmo constructo27. Para os transtornos psiquiátricos, o TAI ainda está em fase exploratória e até o momento não há nenhum dado do TAI aplicado aos sintomas do TOC.
A discussão em torno do nível de prejuízo da crítica tem implicações clínicas importantes, porque pode retardar o diagnóstico e, consequentemente, o tratamento para tais pacientes, levando ao comprometimento da qualidade de vida e prejudicando a esferapsicossocial28,29. O TAI-TOC é um instrumento potencialmenteútil, porque é uma avaliação indireta, na qual a realização de uma tarefa de associação pretende identificar sintomas que passam, voluntariamente ou não, despercebidos pelo paciente. Isso é facilitado pela apresentação das palavras que têm relação com seus sintomas e os estímulos visuais1. Além disso, embora a validade de testes de associação implícita ainda seja incerta, esse tipo de instrumentopode permitir, no futuro, a identificação de um viés cognitivo em indivíduos de alto risco para desenvolvimento do TOC (e.g. familiares de primeiro grau de pacientes com TOC) ou outros transtornos psiquiátricos.
Referências
1. De Houwer J. The Implicit Association Test as a tool for studying dysfunctional associations in psychopathology: strengths and limitations. J Behav Ther Exp Psychiatry. 2002;33(2):115-33. [ Links ]
2. Fazio RH, Jackson JR, Dunton BC, Williams CJ. Variability in automatic activation as an unobtrusive measure of racial attitudes: a bona fide pipeline? J Pers Soc Psychol. 1995;69(6):1013-27. [ Links ]
3. Wittenbrink B, Judd CM, Park B. Evaluative versus conceptual judgments in automatic stereotyping and prejudice. J Exp Soc Psychol. 2001;37(3):244-52. [ Links ]
4. Banse R, Seise J, Zerber N. Implicit attitudes towards homossexuality: reliability, validity; and controllability of TAI. Z Exp Psychol. 2001;48(2): 145-60. [ Links ]
5. Bosson JK, Swann WB, Pennebaker JW. Stalking the perfect measure of implicit self-esteem: the blind men and the elephant revisited? J Pers Soc Psychol. 2000;79(4):631-43. [ Links ]
6. Koole SL, Dijksterhuis A, Van Knippenberg A. What's in a name: implicit self-esteem and the automatic self. J Pers Soc Psychol. 2001;80(4):669-85. [ Links ]
7. Jong P. Implicit self-esteem and social anxiety: differential selffavouring effects in high and low anxious individuals. Behav Res Ther. 2002;40(5):501-8. [ Links ]
8. Tanner RJ, Stopa L, De Houwer J. Implicit views of the self in social anxiety. Behav Res Ther. 2006;44(10):1397-409. [ Links ]
9. Teachman BA, Gregg AP, Wood SR. Implicit associations of fear-relevant stimuli among individuals with snake and spider fears. J Abnorm Psychol. 2001;110(2):226-35. [ Links ]
10. Rüsch N, Lieb K, Göttler I, Hermann C, Schramm E, Richter H, et al. Shame and implicit self-concept in women with borderline personality disorder. Am J Psychiatry. 2007;164(3):500-8. [ Links ]
11. Teachman BA, Smith-Janik SB, Saporito J. Information processing biases and panic disorder: relationsships among cognitive and symptom measures. Behav Res Ther. 2007;45(8):1791-811. [ Links ]
12. Gemar MC, Segal ZV, Sagrati S, Kennedy SJ. Mood-induced changes on the Implicit Association Test in recovered depressed patients. J Abnorm Psychol. 2001;110(2):282-9. [ Links ]
13. Meites TM, Deveney CM, Steele KT, Holmes AJ, Pizzagalli DA. Implicit depression and hopelessness in remitted depressed individuals. Behav Res Ther. 2008;46(9):1078-84. [ Links ]
14. Torres AR, Lima MCP. Epidemiologia do transtorno obsessivo-compulsivo. Rev Bras Psiquiatr. 2005;27(3):237-42. [ Links ]
15. Matsunaga H, Kiriike N, Matsui T, Oya K, Iwasaki Y, Koshimune K, et al. Obsessive-compulsive disorder with poor insight. Compr Psychiatry. 2002;43(2):150-7. [ Links ]
16. Beck AT, Epstein N, Brown G, Steer RA. An inventory for measuring clinical anxiety: psychometric properties. J Consult Clin Psychol. 1988;56(6):893-7 [ Links ]
17. Cunha JA. Manual da versão em português das Escalas Beck. São Paulo: Casa do Psicólogo; 2001. [ Links ]
18. Beck AT, Ward CH, Mendelson M, Mock J, Erbaugh J. An inventory for measuring depression. Arch Gen Psychiatry. 1961;12(4):561-71. [ Links ]
19. Foa EB, Huppert JD, Leiberg S, Langner R, Kichic R, Hajcak G, et al. The obsessive-compulsive inventory: development and validation of a short version. Psychol Assess. 2002;14(4):485-96. [ Links ]
20. Victoria MS, Fontenelle L. A construção de um novo instrumento para avaliar correlatos implícitos dos sintomas do transtorno-obsessivo compulsivo: primeira versão do Teste de Associação Implícita (TAI-TOC). Rev Psiq Clín. 2010;37(5):189-94. [ Links ]
21. Greenwald AG, Nosek B, Banaji MR. Understanding and using the implicit association test: I. An improved scoring algorithm. J Pers Soc Psychol. 2003;85(2):197-216. [ Links ]
22. Egloff B, Schmukle SC. Predictive validity of an implicit association test for assessing anxiety. J Pers Soc Psychol. 2002;83(6):1441-55. [ Links ]
23. Egloff B, Schwerdtfeger A, Schmukle SC. Temporal stability of the implicit association test-anxiety. J Pers Assess. 2005;84(1):82-8. [ Links ]
24. Haeffel GJ, Abramson LY, Brazy PC, Shah JY, Teachman BA, Nosek BA. Explicit and implicit cognition: a preliminary test of a dual-process theory of cognitive vulnerability to depression. Behav Res Ther. 2007;45(6):1155-67. [ Links ]
25. McConnell AR, Liebold JM. Relations between the Implicit Association Test, explicit racial attitudes, and discriminatory behavior. J Exp Soc Psychol. 2001;37(5):435-42. [ Links ]
26. Fazio RH, Olson MA. Implicit measures in social cognition research: their meaning and use. Annu Rev Psychol. 2003;54:297-327. [ Links ]
27. De Jong PJ. Implicit self-esteem and social anxiety: differential selffavouring effects in high and low anxious individuals. Behav Res Ther. 2002;40(5):501-8. [ Links ]
28. Torresan RC, Smaira SI, Ramos-Cerqueira ATA, Torres AR. Qualidade de vida no transtorno obsessivo-compulsivo: uma revisão. Rev Psiq Clín. 2008;35:13-9. [ Links ]
29. Mansur CGS, Cabral SB, Sartorelli MCB, Lopes AC, Miguel EC, Bernik MA, et al. Aplicação da estimulação magnética transcraniana de repetição no tratamento do transtorno obsessivo-compulsivo e outros transtornos de ansiedade. Rev Psiq Clín. 2004;31:257-61. [ Links ]
Endereço para correspondência:Mara Sizino da Victoria
Rua Almirante Gomes Pereira, 51/102, Urca
22291-170 - Rio de Janeiro, RJ, Brasil
E-mail: marasizino@yahoo.com.br
Recebido: 6/1/2010
Aceito: 31/5/2010
Aceito: 31/5/2010
Instituição onde o trabalho foi elaborado: Programa de Ansiedade e Depressão do Instituto de Psiquiatria da Universidade Federal do Rio de Janeiro (IPUB/UFRJ).
Nenhum comentário:
Postar um comentário