3. Avaliação de alternativas na educação

Jonathan Balcombe, PhD - jbalcombe@pcrm.org
Physicians Committee for Responsible Medicine (PCRM), Estados Unidos


Introdução

A utilização de animais de laboratório para o ensino das ciências da vida envolve diversos custos. Entre eles se incluem as despesas com compra e/ou manutenção de animais, o tempo necessário para preparar e conduzir os laboratórios com base em animais, os custos éticos para com os animais e sociais/éticos para com os estudantes, a maioria dos quais não deseja machucá-los. Esses custos têm fornecido o ímpeto para o desenvolvimento de formas alternativas de ensino das ciências da vida e o passo desse desenvolvimento têm sido grandemente acelerado nas últimas três décadas, em paralelo com os avanços na tecnologia de computadores e preocupações morais para com os animais. 

As assim chamadas 'alternativas' aos laboratórios de utilização animal têm proliferado, e também os estudos elaborados para avaliar quão bem elas funcionam enquanto ferramentas de aprendizado. Até hoje, mais de trinta estudos publicados e teses de estudantes têm avaliado a atuação desses novos métodos de aprendizado. Este capítulo resume as descobertas desses estudos. Considerando-se que a qualidade da elaboração de um estudo influencia seu rigor, eu também discutirei os elementos e fornecerei exemplos de estudos bem elaborados para a avaliação de alternativas na educação, para ajudar aqueles que estão considerando a possibilidade de realizar um estudo próprio. Finalmente, resumidamente abordarei o valor de casos de avaliação de alternativas.

Avaliação na Educação versus validação das alternativas de verificação animal

Este capítulo está relacionado a avaliação de métodos de ensino, como distinguível da avaliação individual dos estudantes. De qualquer forma, esses dois níveis de avaliação estão proximamente articulados, pois a atuação do estudante é o parâmetro típico pelo qual um método de ensino é avaliado. Mais importante é distinguir a avaliação de métodos alternativos na educação, a partir da validação de métodos alternativos à verificação animal - utilizados para potencializar prejuízos aos seres humanos pela exposição a drogas, químicas industriais e outros produtos. Enquanto houver paralelos, eles serão fundamentalmente diferentes. Em todos os casos de validação das alternativas de verificação animal, o método tradicional baseado em animais é o padrão contra o qual a alternativa é medida. Seja como for, na verificação animal 'padrão ouro' de fato é artificial devido a falta de confiabilidade de extrapolação de não-humanos para humanos. Essa desvantagem é agravada pelo fato de que os testes realizados em animais têm demonstrado ser grosseiramente não confiáveis: laboratórios diferentes têm relatado resultados muito diferentes após realizarem os mesmos protocolos de verificação animal (por exemplo, Zbinden & Flury-Roversy 1981). 

No caso da educação, há um padrão ouro verdadeiro: quão bem os estudantes aprendem utilizando métodos diferentes. O indivíduo pode comparar honestamente o método tradicional com animais e o método alternativo, tendo os humanos como os verdadeiros árbitros. Isso porque os dados com os quais as alternativas são comparadas são provenientes de testes realizados em estudantes, e não em animais. Nenhuma extrapolação de animais para humanos é necessária. Assim, enquanto que a medição de testes com animais torna-se uma etapa removida a partir da medição humana, dados comparando a eficiência dos métodos de aprendizado baseados em alternativas animais com os métodos alternativos podem ser comparados diretamente nas mesmas matérias. Como resultado, alternativas na educação podem ser consideradas superiores às práticas tradicionais enquanto que alternativas para verificação são limitadas devido à presunção de que seriam igualmente boas em comparação às de teste animal. 

Estudos realizados até hoje

Até hoje, mais de trinta estudos publicados têm avaliado a elaboração de métodos de aprendizado para a substituição ou redução de métodos que podem prejudicar animais, tais como a dissecação animal, experiências fisiológicas invasivas realizadas em laboratório e os laboratórios terminais de cães nas escolas de medicina e de veterinária. Esse corpo de pesquisa não é, de qualquer forma, exaustivo e representa apenas uma pequena amostragem dos milhares de métodos alternativos de ensino disponíveis. De qualquer forma, ele é substancialmente suficiente para fazer algumas comparações e chegar a algumas conclusões gerais sobre a eficácia de tais métodos. Nessa seção, resumi brevemente as descobertas das pesquisas, organizadas por disciplina dentro das ciências da vida. Na seção subseqüente, examino os métodos utilizados nesses estudos. Descrições mais detalhadas quanto as descobertas podem ser encontradas em Balcombe (2000).

Biologia Geral

Evidências provenientes de diversos estudos de estudantes, tanto no nível universitário quanto pré-universitário, demonstram que a dissecação animal não é superior, e pode ser inferior, a outros métodos de aprendizado no que diz respeito a aquisição de conhecimento básico quanto as estruturas e funções animais. Os laboratórios baseados em computadores têm apresentado resultados equivalentes (Kinzie et al. 1993, Strauss & Kinzie 1994) ou significativamente melhores (Leonard 1992, More & Ralph 1994). Videotapes (Fowler & Brosius 1968) e os modelos 3D (Downie & Meadows 1995) também têm sido considerados como capacitados para gerar uma atuação igual ou melhor de aprendizado se comparados com a dissecação animal. E tanto Lieb (1985) quanto McCollum (1987) descobriram que só as aulas evidenciaram a pontuação pós-teste que foi, respectivamente, equivalente ou melhor a dos estudantes que dissecaram minhocas e sapos.

Coletivamente, os oito estudos citados acima relatam quanto a atuação de 4.149 estudantes estudando uma variedade de organismos vertebrados e invertebrados (por exemplo, ratos, sapos, peixes, minhocas e camarões de água doce) tanto nos Estados Unidos quanto na Grã-Bretanha. Somente em um estudo (Matthews 1998) com vinte estudantes universitários americanos apontou uma pontuação significativamente mais alta para a dissecação do que para outro método de aprendizado (programa de computador), mas houve críticas quanto ao método utilizado por Matthews (veja abaixo). 

Fisiologia e farmacologia

A fisiologia e a farmacologia são campos que têm tradicionalmente utilizado uma preponderância de exercícios que utilizam práticas de laboratório invasivas a vida animal. Aqui, também, alguns estudos têm sido publicados e as descobertas, novamente, não dão suporte as afirmações de que os exercícios laboratoriais de aprendizado realizados com animais são superiores a outros métodos não prejudiciais aos animais. Esses últimos métodos têm atuado igualmente ou melhor nos cursos de farmacologia e fisiologia, realizados por estudantes de medicina (Samsel et al. 1994), de veterinária (Fawver et al 1990), de enfermagem (Phelps et al. 1992), de farmacologia (Henman & Leach 1983) e de estudantes de fisiologia (Dewhurst & Meehan 1993, Dewhurst et al. 1994). Com exceção de Henman & Leach (1983), que comparou o uso de um biovideógrafo com os laboratórios de órgãos animais e esses estudos compararam os módulos de aprendizado baseados em computador com os laboratórios tradicionais de animais vivos. Coletivamente, esses estudos envolveram pelo menos 300 estudantes de graduação, tanto nos Estados Unidos quanto na Grã Bretanha.

A medicina e as profissões associadas

Cinco estudos adicionais de estudantes de medicina ou de campos associados corroboram as descobertas dos estudos mencionados anteriormente. Nos Estados Unidos, Guy & Frisby (1992) relataram uma atuação equivalente de 473 estudantes de enfermagem e de medicina utilizando vídeo-discos interativos ou que foram ensinados através de laboratórios de demonstração com cadáveres. Prentice et al. (1977), relatando sobre a questão da atuação do aprendizado de 16 estudantes de medicina, concluiu que a utilização de slides classificados de dissecações anatômicas forneceram uma alternativa viável à dissecação de cadáveres humanos. Cem calouros de medicina atingiram níveis de aprendizado equivalente utilizando filmes, instruções assistidas por computador quando comparados a outros que receberam ensinamento através de aulas tradicionais e de dissecação de cadáveres (Jones et al. 1978). E Lilienfield & Broering (1994) relataram que 252 médicos e estudantes de medicina, que utilizaram a simulação em computador, atingiram um grau significativamente mais elevado do que seus colegas de classe na seção cardiovascular do exame final. Em Britain, Leathard & Dewhurst (1995) avaliou-se a atuação de 105 estudantes de clínicas médicas e não encontraram diferenças significativas entre os que utilizaram laboratórios com animais vivos (onde ratos foram mortos e tiveram segmentos de seus intestinos isolados) e aqueles que utilizaram uma simulação em computador sobre mobilidade intestinal. 

Diversos estudos adicionais, enquanto não avaliando diretamente a atuação do aprendizado do estudante, têm, apesar de tudo, relatado as preferências dos estudantes e a economia em tempo e dinheiro para as alternativas em comparação com os tradicionais laboratórios de animais. Dewhurst & Jenkinson (1995) analisaram as respostas dadas a um questionário com quarenta perguntas, distribuído a cinqüenta instituições ao redor do mundo, que estavam utilizando pelo menos três dos dezesseis jogos de pacotes para computador disponíveis. As respostas indicaram que os pacotes economizavam dinheiro e tempo da equipe de professores, eram efetivos e prazerosos estilos de aprendizado e reduziam, significativamente, a utilização animal (ibid). Em um estudo envolvendo 110 estudantes de medicina dos Estados Unidos, os quais utilizaram tanto as demonstrações em computador quanto as com animal (cachorro), os estudantes preferiram a primeira opção para o estudo da fisiologia cardiovascular (Samsel et al. 1994).

Uma aplicação relativamente nova da tecnologia de computadores na medicina é a de aquisição e manutenção das habilidades de procedimentos cirúrgicos. Os módulos de treinamento em realidade virtual têm sido desenvolvidos para o treinamento de procedimentos intravenosos, endoscópicos, endovasculares entre outros. Métodos de treinamento tradicionais para alguns desses procedimentos (endoscópico e endovascular) envolvem a prática em seres humanos em um ambiente clínico e a utilização de porcos, cães e ovelhas como substitutos aos pacientes humanos. Estudos recentes têm demonstrado que tais simulações não somente melhoram a atuação prática significativamente (Rowe & Cohen 2000, Colt et al. 2001), mas também que elas podem exceder5 os métodos de treinamento tradicionais para a aquisição de procedimentos de habilidade (Ost et al. 2001). Outros estudos têm confirmado que esses simuladores medem o que lhes é devido (Wong et al. 2001), e podem discriminar usuários baseados em experiências de conduta. (e.g. Mehta et al. 2000, Datta et al 2001).

Medicina Veterinária

Dispositivos de treinamento cirúrgico não-animal são extensivamente utilizados em escolas de veterinária para auxiliar a lapidar as habilidades anteriores as suas aplicações em tecido de animais vivos. Modelos anatômicos, por exemplo, têm-se provado efetivos no treinamento de habilidades e técnicas veterinárias. Modelos de plástico, de tecido macio, dos órgãos abdominais dos cachorros, desenvolvido pela University of Illinois, foram considerados como tendo propriedades de manuseio comparáveis e foram utilizados para o ensino de uma gama de procedimentos cirúrgicos comuns (Greenfield et al. 1995). O DASIE (Dog Abdominal Surrogate for Instructional Exercises - Substituto do Abdômen Canino para Exercícios Instrucionais), desenvolvido pela Ontario Veterinary College, tem também sido utilizado com sucesso para a redução da utilização animal no ensino de cirurgias abdominais em diversas instituições (Holmberg et al. 1993, Holmberg & Cockshutt 1994). Plásticos mais rígidos têm sido utilizados para a criação de modelos de ossos e esses são efetivamente utilizados para demonstração e ensino de muitos aspectos dos procedimentos cirúrgicos relacionados ao osso (DeYoung & Richardson 1987; Johnson & Farmer 1989; Johnson et al. 1990). De vinte e sete participantes em uma pesquisa realizada nas 31 escolas de veterinária nos Estados Unidos e Canadá, Bauer (1993) relatou que ossos de plástico estavam sendo utilizados em oito escolas (30%) para o ensino de reparo de fraturas.

Diversos outros estudos publicados no campo da veterinária apoiam a utilização amigável de animais nos métodos de aprendizagem em vez dos tradicionais meios destrutivos. Em seu estudo realizado com oitenta e dois estudantes de veterinária dos Estados Unidos, Erickson & Clegg (1993), descobriu-se que os estudantes classificaram o aprendizado ativo baseado em computador como o mais elevado dentre os catorze métodos de aprendizado cardíaco básico e de interpretação do eletrocardiógrafo. Carpenter et al. (1991), relataram não haver diferenças significativas entre a atuação cirúrgica de dois grupos de estudantes de terceiro ano, onde um grupo foi treinado utilizando animais vivos e o outro com cadáveres. (Infelizmente os autores não relatam a procedência dos cadáveres, mas cadáveres provenientes de fontes éticas estão certamente disponíveis, por exemplo, de animais de estimação submetidos a eutanásia por razões médicas). White et al. (1992) relatou sobre sete estudantes do quarto ano de veterinária, provenientes de um sistema alternativo (amistoso aos animais); os estudantes demonstraram hesitação em suas primeiras cirurgias com tecido vivo, mas subseqüentemente atuaram em igualdade de condições com estudantes com experiências laboratoriais padrão.

Um estudo realizado por Pavletic et al. (1994) comparou as habilidades cirúrgicas de doze graduados da Tufts University da turma de veterinária de 1990, os quais tinham participado de um pequeno curso alternativo de procedimentos cirúrgicos com 36 de seus correlativos. Os temas foram classificados por competência cirúrgica por seus empregadores no momento de suas admissões e novamente doze meses mais tarde. Não foram encontradas diferenças significativas em quaisquer das ocasiões para quaisquer medidas, as quais incluem habilidade de atuação cirúrgica comum, procedimentos médicos e diagnósticos, atitudes referentes a atuação ortopédica ou de cirurgia de tecidos macios, confiança para a realização de procedimentos ou habilidade de realizar procedimentos sem assistência. Esse estudo é especialmente digno de atenção porque ele avalia a experiência de aprendizado no ponto onde seus resultados são mais importantes: na atuação profissional. 

Os estudos veterinários acima envolveram 290 estudantes em todos os estágios de seus treinamentos, incluindo a atuação profissional um ano após a formatura. Coletivamente, eles fornecem um forte case para a substituição de laboratórios tradicionais onde animais saudáveis são assassinados. A hesitação inicial dos estudantes do 'sistema alternativo' quando enfrentaram a cirurgia com um animal vivo, conforme mencionada no estudo realizado por White et al. (1992), tem vida curta e não deixa efeitos duradouros na atuação cirúrgica, conforme ilustrado por aquele estudo e pelo de Pavletic et al. (1994). A validação demonstrada pelo currículo de sistema alternativo no treinamento veterinário, combinado com a crescente insatisfação dos estudantes com relação aos métodos tradicionais está encorajando mudanças progressivas nas escolas veterinárias da América do Norte (Patronek 1998, Bauer et al. 1992a, b). Mais da metade das trinta e uma escolas, atualmente possuem sistemas alternativos e a mais nova delas, a Western University of the Health Sciences, cujo programa veterinário estava agendado para abertura em 2003, tem por objetivo um currículo completamente não-destrutivo à vida animal (Lara Rasmussen, DVM, personal comm. 28 November 1999).

Por vezes a utilização de cadáveres de procedência ética é negligenciada entre as alternativas, assim como o trabalho clínico / terapêutico com animais dentro do currículo. Essas abordagens são particularmente relevantes para o treinamento veterinário, onde o contato direto com animais vivos é indispensável. Há uma considerável quantidade de literatura que apóia o treinamento cirúrgico com cadáveres animais sobre os animais vivos. Bauer et al (1992b), por exemplo, descobriu que os estudantes que tinham acesso à cadáveres animais demonstraram mais autoconfiança na atuação cirúrgica e desenvolveram e mantiveram atitudes mais positivas voltadas para seu trabalho. De acordo com uma pesquisa recente (Anon. 2000), dezesseis das trinta e uma escolas de veterinária americanas atualmente oferecem cirurgias em cadáveres como sendo parte de seus programas alternativos e dessas, doze têm programas de doação de pacientes para assegurar cadáveres de procedência ética. Kumar et al. (2001) discutem algumas vantagens quanto a utilização dos programas de doação de pacientes para o treinamento veterinário baseados em suas experiências na Tufts University.

Enquanto que a maioria das escolas veterinárias participam atualmente de programas de esterilização/castração em parceria com abrigos locais de animais como uma forma de treino cirúrgico, há uma carência de estudos examinando os resultados desta alternativa utilizando animais para fins reprodutivos. Hart et al (1993) relataram quanto a utilização bem-sucedida de animais provenientes de abrigos para cirurgias supervisionadas de esterilização/castração e quanto ao aumento da taxa de adoção que se seguiu. Esses estudantes estão ajudando a salvar vidas em seus treinamentos, o que é um forte agente motivador para o aprendizado e nota-se que o ambiente se torna mais agradável para os aspirantes a veterinários do que em locais onde animais saudáveis são exterminados. 

Elaboração do estudo

Com poucas exceções, os artigos de pesquisa citados acima seguiram uma elaboração de estudo básica similar. Os estudantes foram divididos em dois grupos: um estudando através de métodos tradicionais baseados na utilização animal, o outro utilizando métodos alternativos e mais novos. Acompanhando o período de aprendizado, cada grupo é avaliado utilizando um teste padronizado que permite a comparação entre os dois grupos. Fowler & Brosius (1968) foram os primeiros a utilizar essa abordagem na avaliação de métodos de ensino que poderiam substituir a dissecação animal no currículo de biologia. Eles utilizaram uma séria de testes padronizados para avaliar 156 estudantes de escolas de nível superior, tanto antes quanto depois deles terem estudado quatro espécies animais (minhoca, camarão de água de doce, sapo e perca) utilizando filmes ou executando dissecações. Os dois métodos não apresentaram diferenças com relação a capacidade de resolução de problemas, quanto ao desenvolvimento da compreensão dos métodos e objetivos científicos, para melhorar a atitude dos estudantes para com a ciência ou de suas habilidades manuais; o tratamento do filme demonstrou-se mais efetivo que o tratamento por dissecação quanto ao aprendizado da informação fatual relativo a cada espécime (ibid).

Dentro da elaboração básica do estudo, muitos refinamentos são possíveis. Pré-testes podem ser utilizados para confirmar que os dois grupos de tratamento são, para começar, comparáveis. Amostras maiores tenderão a aumentar o grau de uniformidade entre os grupos de tratamento, reduzindo as potenciais possibilidades de confusões por um grupo ser menor, mais experiente ou mais confiante. Um acompanhamento de pós-testes fornecerá uma avaliação mais rigorosa dos dois métodos de aprendizado do que se somente uma fosse realizada. A aplicação de pós-testes adicionais avaliam a capacidade de retenção da informação. 

Dois exemplos de estudos fortemente elaborados são fornecidos por Kinzie et al. (1993) e Greenfield et al. (1995). Kinzie et al. (1993) que examinaram a atuação, alcance e efeitos referentes ao tratamento baseado em uma simulação feita através de vídeo-disco interativo (IVD) tanto como ferramenta de substituição quanto de preparação para a dissecação de sapos. Suas amostras foram compostas por 61 estudantes de biologia de escolas de nível superior, os quais participaram do estudo por um período de quatro dias. Todos esses estudantes foram ensinados pelo mesmo instrutor e na mesma escola, através disso minimizando os efeitos que podem resultar de ambientes de aprendizado diferentes. Nesse estudo, os estudantes foram determinados ao acaso para cada um dos quatro grupos: 1) 16 estudantes utilizaram a simulação IVD como preparação para a dissecação do sapo; 2) 15 estudantes assistiram a um vídeo linear contendo o mesmo material utilizado pela simulação IVD (sem interatividade); 3) 15 estudantes conduziram a dissecação do sapo sem preparação e 4) 15 estudantes utilizaram a simulação IVD, mas não dissecaram. Análises preliminares das notas dos estudantes obtidas até aquele momento no semestre indicaram que não ocorreram diferenças significativas entre os grupos.

Os estudantes sabiam que estavam participando de um estudo, mas não lhes foi dito quais eram os objetivos. Também lhes foi dito que sua atuação nos pós-testes poderia contar para suas médias finais e de que eles deveriam tentar fazer o melhor possível. Além da análise de suas notas no curso, os estudantes participaram de um pré-teste, o qual não rendeu diferenças significativas quanto ao alcance, atitude ou auto-suficiência entre os quatro grupos. Cada grupo passou quantidade de tempo comparável com os materiais que lhes foram assinalados. Todas as dissecações (realizadas pelos grupos 1, 2 e 3) foram realizadas no mesmo dia, com a participação de quatro pesquisadores treinados observando e avaliando a atuação referente a dissecação de cada um dos grupos (as avaliações foram comparadas, com avaliações congruentes entre os observadores). Finalmente, todos os estudantes completaram um pós-teste o qual mensurou alcance, atitude e auto-suficiência. O pós-teste de alcance continha uma diversidade de elementos: três diagramas a serem rotulados, quatro sapos dissecados alfinetados para rotulação e nove questões de múltipla escolha. O pós-teste de atitude, que fora inicialmente revisto, criticado e modificado por vinte professores universitários de ciências e tecnologistas de educação continha 20 itens, redigido 50% de forma positiva e 50% de forma negativa. O pós-teste de auto-suficiência continha 25 declarações produzindo confiança nos participantes tanto com relação a atuação da dissecação quanto no conhecimento anatômico, com o qual os estudantes indicavam seus níveis de concordância. A consistência entre os itens foi avaliada por cada um dos três pós-testes mencionados acima. Finalmente, foram dadas quatro questões solicitando as preferências do estudante referentes as diversas atividades utilizadas neste estudo. (Os estudantes utilizando a simulação como preparação obtiveram pontuação mais alta do que os estudantes que não receberam qualquer preparação: eles realizaram uma dissecação subseqüente de maneira mais efetiva e aprenderam mais sobre a anatomia do sapo e sobre os procedimentos de dissecação. Os autores concluíram que o vídeo-disco interativo era pelo menos tão efetivo quanto a dissecação real para a promoção do aprendizado dos estudantes quanto a anatomia do sapo e procedimentos de dissecação).

Greenfield et al. (1995) compararam a aquisição de habilidades cirúrgicas em 36 estudantes do terceiro ano de veterinária, escolhidos aleatoriamente para dois grupos de tratamento: um treinado com modelos de tecido plástico macio e o outro com cães anestesiados que eram submetidos a eutanásia ao final de cada sessão. Cada grupo tinha duas seções com seus módulos de treinamento cirúrgico, durante as quais copiava-se o procedimento de gravação, a fim de que os estudantes se acostumassem a ser filmados durante as atuações cirúrgicas. A competência cirúrgica dos estudantes era então avaliada durante duas sessões adicionais nas quais cada grupo cirúrgico realizava uma cirurgia de esterilização em um cão ou gato de um abrigo local de animais. (e depois os retornavam para uma possível adoção).
Membros da faculdade supervisionavam essas sessões e determinavam se as habilidades cognitivas e habilidades motoras eram aceitáveis ou não. A faculdade não sabia qual o método de treinamento que o estudante havia utilizado. Essas cirurgias para esterilizações também eram filmadas, editadas e organizadas de forma aleatória e avaliadas por oito cirurgiões de quatro escolas de veterinária. A esses avaliadores era dito se os estudantes tinham sido considerados aceitáveis ou não, mas não lhes era dito como os estudantes aprenderam e eles eram instruídos a não penalizar baseados em preferências pessoais de abordagem cirúrgica.

Os estudantes eram reavaliados um ano depois, já no quarto ano do curso, quanto a rotações cirúrgicas de animais de pequeno porte para determinar se haviam quaisquer diferenças de atuação dos dois grupos de tratamento. Para ajudar a assegurar que os grupos de tratamento eram comparáveis, a atuação acadêmica, de maneira geral, era avaliada no início do estudo através da comparação das médias (GPA) de todos os estudantes participantes do estudo e pela comparação dos GPAs entre os dois grupos; nenhuma dessas comparações apresentou diferenças significativas.

Smeak et al. (1994) utilizou a elaboração de um estudo similar para avaliar quarenta estudantes de veterinária quanto as suas habilidades de atuação referente ao fechamento de órgão oco (estômago) e eles incluíram um teste inovador no qual os órgãos eram colocados embaixo d'água e preenchidos com ar, com pressão crescente, de maneira que o vazamento pudesse ser utilizado para medição da efetividade do fechamento cirúrgico. (Infelizmente, as propriedades dos órgãos simulados mostraram-se inadequadas para esse teste). Uma abordagem mais qualitativa, utilizada por Samsel et al. (1994), envolveu somente um grupo de tratamento. Os estudantes receberam tanto demonstrações por computador quanto de utilização animal e lhes foi solicitado que classificassem cada uma delas por seus méritos educacionais. A demonstração por computador foi melhor classificada.

A abordagem de Dewhurst & Jenkinson (1995), que enviou pelo correio formulários de pesquisas para clientes alternativos, fornece uma avaliação menos rigorosa de quaisquer métodos se comparada a abordagem de comparação direta utilizada por Kinzie et al. (1993) e Greenfield et al. (1995). De qualquer forma, ela se beneficia da distância e diversidade da amostra (50 instituições, provenientes de catorze países ao redor do mundo). Deve ser salientado que Dewhurst e seus colaboradores empregaram uma variedade de métodos para avaliação de seus pacotes instrucionais e esse trabalho trouxe contribuições significativas para o desenvolvimento e legitimidade de alternativas aos laboratórios animais.

O único estudo até hoje publicado que encontrou uma atuação significativamente melhor a partir de estudantes utilizando o método tradicional baseado em animais sobre os que utilizavam métodos alternativos foi relatado por Matthews (1998). O grupo de controle foi composto por oito graduandos que passaram doze horas (quatro períodos de três horas de estudo) dissecando fetos de porcos; a cobertura do tema foi realizada em profundidade, com a expectativa de que os estudantes aprendessem sobre a localização e função de 140 estruturas anatômicas. O grupo de tratamento estudou a anatomia do feto de porco utilizando o MacPig, um programa de computador produzido pela Intellimation (a qual tornou-se extinta, em 1996). Acompanhando o período de estudo foram dados a cada um dos grupos dois testes, um sendo composto por duas questões incluídas no programa do computador e o outro por vinte e cinco questões a serem respondidas oralmente onde se pedia aos estudantes que apontassem uma estrutura e descrevessem suas funções. Ambos os grupos de estudantes atuaram de forma similar no teste do computador, mas os estudantes de dissecação atuaram de forma significativamente melhor no teste oral sobre porcos dissecados.

Diversos problemas relacionados a elaboração do estudo deixaram dúvidas quanto a veracidade das descobertas. Esses problemas foram levantados devido a cobertura menos detalhada do tema por esse programa em particular. O autor reviu o MacPig em 1994 e o considerou mais apropriado para o público das escolas de nível médio (da 7ª a 9ª) (Balcombe 1998). O MacPig descreve entre 50 e 75 estruturas de um feto de porco, apenas a metade das 140 cobertas pelos estudantes do grupo de dissecação do estudo realizado por Matthews.

Com isso em mente, pode-se esperar que estudantes do grupo de controle tenham coberto todas as estruturas no teste do MacPig, mas não se pode esperar o mesmo com relação ao grupo experimental nos testes de exame oral. Além do mais, é improvável que o conteúdo do MacPig fosse suficiente para ocupar um estudante por doze horas de estudo. Finalmente, Matthews administrou ela mesma o exame oral; a elaboração de seu estudo teria sido melhor se a prática oral tivesse sido realizada de forma 'cega', por uma parte neutra que não soubesse do que se tratava o método pelo qual os estudantes haviam aprendido sobre o material.

Um estudo ideal envolveria uma gama de métodos de substituição sendo comparados com métodos tradicionais baseados em animais em diversas instituições. A inclusão de diversas instituições em um único estudo poderia dar informações valiosas quanto ao grau de variação que pode ocorrer inter institucionalmente. Amplas amostras poderiam minimizar os efeitos de diferenças iniciais nas amostras dos estudantes (por exemplo, aptidão, conhecimento anterior, experiência anterior com métodos de aprendizado diferentes), mas os pré-testes deveriam também ser feitos para satisfazer essa suposição. Uma variedade de instrutores tenderá a invalidar os efeitos das inclinações individuais do instrutor (por exemplo, os estudantes podem detectar e responder de acordo com a preferência de um instrutor - entretanto de forma sutil - para um dado método de aprendizado). Elaborações de estudos cegos, nos quais os estudantes não conhecem o objetivo do estudo e os avaliadores não estão cientes quanto ao(s) método(s) de aprendizado utilizado(s), irão mais a frente minimizar a influência da indução. Avaliações de pós-teste devem ser feitas tanto a longo quanto em curto prazo, de maneira que a retenção dos objetivos das lições possa ser avaliada.

Finalmente, a utilização de combinações de métodos alternativos na substituição de utilização prejudicial de animais deve ser encorajada, pois unem as forças de diferentes recursos em uma única experiência de aprendizado. Seria útil ver mais estudos que avaliam especificamente combinações de alternativas comparadas aos métodos tradicionais de destruição animal.

O valor do caso

Como um crescente número de professores desenvolve e implementa alternativas e cada vez mais estudantes exigem métodos de aprendizado humanitários, um corpo crescente de evidência de casos está se tornando disponível conforme relatado por ambos os grupos em suas experiências. Apesar de não seguirem rigorosos padrões estatísticos, os casos fornecem cenários da vida real das alternativas sendo utilizadas como se pretendia e compondo um suplemento útil para os estudos publicados que avaliam alternativas.

Hepner (1994) foi um dos primeiros a publicar experiências pessoais de estudantes objetores conscienciosos à utilização de práticas de prejuízo aos animais na educação; os exemplos que ela apresenta incluem tratamento injusto de estudantes devido à resistência de instrutores e do levantamento de algumas estórias de estudantes que negociaram de maneira bem sucedida soluções de comum acordo com suas escolas. Um estudante relatou que sentava no fundo da sala e ficava trabalhando com modelos e diagramas enquanto seus colegas dissecavam gatos e obteve 87% de pontuação no curso. Uma outra aluna relata que construiu órgãos de moluscos e ratos utilizando argila - uma maneira construtiva de aprender a relação anatômica de um animal - mas não fez qualquer menção sobre quanto, no final das contas, ela experimentou essa alternativa no curso. Outros dois repositórios de cases de estudantes estão no website da InterNICHE (www.interniche.org) e Pedersen (2002). Dentro do site da InterNICHE, os testemunhos do estudante de veterinária Andrew Knighte e da estudante de zoologia Denise Humphreys ilustram o valor dos casos. Os esforços de Knight para modernizar o currículo na sua escola de veterinária na Austrália resultaram numa atuação cirúrgica muito maior para ele (todas no cenário clínico) se em comparação com seus colegas, fornecendo-lhe com isso um treinamento mais extensivo e também mais confiança. Humphreys foi alertada pelos professores de que ela não receberia uma oferta de trabalho caso se recusasse a dissecar animais durante o curso. Ao contatar cerca de 30 a 40 organizações relacionadas às ciências da vida, incluindo o Institute of Zoology (de Londres), entretanto, foi-lhe dito que eles não gostariam de encorajá-la a se opor aos desejos da universidade em que estudava, mas que eles, definitivamente, considerariam a contratação de um estudante como ela.

Infelizmente, poucos casos de estudantes relatam a utilização de alternativas específicas e como ele se saiu academicamente. Esse tipo de caso seria de grande valor. Estudos de caso sobre o desenvolvimento e implementação de métodos alternativos por instrutores são muito úteis e muitos relatam a abordagem da atuação acadêmica do estudante (veja, por exemplo, o artigo de Braun, neste volume). Jornais como The American Biology Teacher e o Journal of Biological Education regularmente publicam críticas de casos de novos materiais de ensino e os que tomam alternativas emprestadas através do sistema de empréstimo são encorajados a fornecer uma avaliação à organização que procedeu o empréstimo. As comissões do European Resource Centre for Alternatives in Higher Education (EURCA) detalharam críticas as alternativas de professores e as incluíram, juntamente com a avaliação dos cases, em seus websites (www.eurca.org). Essa é uma valiosa contribuição digna de ser imitada. 

Conclusões

Os estudos descritos nesse artigo não cobrem a extensiva gama de possíveis aplicações para a educação e treinamento nas ciências da vida. (consulte esse livro para muitas outras aplicações). Entretanto, o fazem para a maior parte metodologicamente adequada para avaliação da eficácia quanto aos métodos de ensino favoráveis aos animais em comparação com os métodos de destruição animal. Coletivamente, a evidência empírica fornece um suporte sólido para a substituição dos métodos tradicionais de ensino que envolvem o prejuízo e /ou a matança animal. Até mesmo em casos de equivalência de atuação de aprendizado, a ética poderia decretar que o método de aprendizado alternativo fosse utilizado. 

Métodos de aprendizado sem uso de animais são freqüentemente criticados por não fornecerem experiências 'práticas'. Sem dúvida, os programas de computador e os modelos em 3D fornecem experiências diferentes de aprendizado com gatos preservados e cães anestesiados, mas não há base para concluir que tais experiências sejam menos práticas ou interativas. Em primeiro lugar, há muitos outros materiais práticos e abordagens para o aprendizado de biologia - modelos 3D, simuladores de pacientes, módulos de realidade virtual e treinamento cirúrgico, por exemplo - que não necessitam matar ou prejudicar animais. Quando a Washington State University (WSU) modernizou seu programa de treinamento cirúrgico veterinário no começo dos anos 90 através da substituição dos tradicionais laboratórios animais de práticas invasivas, eles não reduziram o treinamento de habilidades manuais. Pelo contrário, a qualidade e magnitude do treinamento foi melhorada através da introdução antecipada de programas de habilidades e de um laboratório de habilidades psicomotoras (Borje Gustafsson, ex-reitor da escola veterinária WSU, 21 de janeiro de 2000). 

Em segundo lugar, a experiência prática de aprendizado, com contato direto, não é por definição uma alternativa de aprendizado melhor que as outras. Há muitas atividades de contato direto que nós poderíamos realizar com os estudantes nas escolas, mas devido a razões sociais ou morais não o fazemos - por exemplo, construção e detonação de explosivos nas aulas de química. As atividades de contato direto somente são efetivas para o aprendizado se a cabeça dos estudantes estiver sendo mantida tão ocupada quanto suas mãos (Michael 1993). Esse ponto tem importância particular no que se relaciona a dissecação animal, onde o comportamento de estudantes pouco supervisionados pode degringolar na exclusão do aprendizado significativo. (Solot & Arluke 1997).

Uma crítica válida que pode ser feita contra a maioria das pesquisas que avaliam a substituição de métodos de ensino baseados na destruição animal é que há uma carência de ênfase quanto ao processo de aprendizado em si. Com exceção de alguns poucos estudos de proficiência cirúrgica dos estudantes de veterinária e medicina, a ênfase tem sido dada à medida do conhecimento quanto ao 'conteúdo' (por exemplo, a habilidade do estudante em memorizar nomes de partes anatômicas e de sistemas) em vez das habilidades do 'processo' (como, por exemplo, a habilidade do estudante de elaborar e atuar em experimentos e análise de dados). Mesmo assim, muito do foco dos esforços de reformulação do ensino de biologia/ciências hoje está ligado em como o estudante aprende e não no que ele está aprendendo. O U.S. National Science Education Standards é enfático em suas recomendações de que a educação de ciências estabelece mais ênfase no envolvimento ativo dos estudantes para a realização de estudos científicos, incluindo a elaboração, aquisição e análise dos dados e a geração de novos questionamentos e hipóteses (U.S. National Academy of Sciences 1995).

Infelizmente, enquanto estudantes são avaliados por testes padronizados elaborados primeiramente para medir o conhecimento do conteúdo (e os professores forem avaliados de acordo com a atuação de seus estudantes nesses testes), há pouquíssimo ímpeto para substituir o currículo relativo ao processo de aprendizado, a despeito dele demonstrar benefícios (Modell & Michael 1993, Heiman 1987). O que talvez seja mais importante agora é um estudo internacional, de larga escala, comparando os módulos tradicionais e alternativos de ensino e examiná-los tanto pelo conteúdo quanto pelas perspectivas do processo de aprendizado. Um estudo internacional foi proposto (van der Valk et al. 1999), mas ainda não está claro se ele será ou não realizado, ou se ele incluirá os aspectos do processo de ensino.


Referências

Anonymous. 2000. Comparison of alternatives offered by veterinary schools. Alternatives in Veterinary Medical Education, 14: 6-7.

Balcombe, J.P. 1998. Letter to the editor. The American Biology Teacher 60(8): 565-566.

Balcombe, J.P. 2000. Animals in Higher Education: Problems, Alternatives and Recommendations. Humane Society Press, Washington, D.C.

Bauer, M.S. 1993. A survey of the use of live animals, cadavers, inanimate models, and computers in teaching veterinary surgery. Journal of the American Veterinary Medical Association 203(7): 1047-1051.

Bauer, M.S., N. Glickman, S.K. Salisbury, J.P. Toombs & J.M. Prostredny. 1992a. Surgical vs terminal animal laboratories to teach small animal surgery. Journal of Veterinary Medical Education 19(2): 54-58.

Bauer, M.S., N. Glickman, L. Glickman, J.P. Toombs & P. Bill. 1992b. Evaluation of the effectiveness of a cadaver laboratory during a 4th-year veterinary surgery rotation. Journal of Veterinary Medical Education 19(3): 77-84.

Bauer, M.S. & H.B. Seim III. 1992. Alternative methods to teach veterinary surgery. Humane Innovations and Alternatives 6: 401-404.

Carpenter, L.G., D.L. Piermattei, M.D. Salman, E.C. Orton, A.W. Nelson, D.D. Smeak, P.B. Jennings & R.A. Taylor. 1991. A comparison of surgical training with live anesthetized dogs and cadavers. Vet. Surg. 20: 373-378.

Colt H.G., Crawford S.W., Galbraith O. 2001. Virtual reality bronchoscopy simulation: A revolution in procedural training. CHEST 120: 1333-1339.

Datta V.K., Mandalia M., Mackay S.D., Darzi A.W. 2001. Evaluation and validation of a virtual reality based flexible sigmoidoscopy trainer. Gut (Supplement) 48: A97-A98.

Dewhurst, D.G. & A.S. Meehan. 1993. Evaluation of the use of computer simulations of experiments in teaching undergraduate students. British J. Pharm. Proc. Suppl. 108: 238.

Dewhurst, D.G., J. Hardcastle, P.T. Hardcastle & E. Stuart. 1994. Comparison of a computer simulation program and a traditional laboratory practical class for teaching the principles of intestinal absorption. American Journal of Physiology 267 (Advances in Physiology Education 12/1): S95-S104.

Dewhurst, D.G. & L. Jenkinson. 1995. The impact of computer-based alternatives on the use of animals in undergraduate teaching. ATLA 23: 521-530.

DeYoung, D.J. & D.C. Richardson. 1987. Teaching the principles of internal fixation of fractures with plastic bone models. Journal of Veterinary Medical Education 14: 30-31.

Downie, R. & J. Meadows. 1995. Experience with a dissection opt-out scheme in university level biology. Journal of Biological Education, 29(3), 187-194.

Erickson, H.H. & V.L. Clegg. 1993. Active learning in cardiovascular physiology. Pp. 107-108 In Modell, H.I., & Michael, J.A. (editors). Promoting Active Learning in the Life Science Classroom. Annals of the New York Academy of Sciences, Vol. 701. New York, NY.

Fawver, A.L., C.E. Branch, L. Trentham, B.T. Robertson & S.D., Beckett. 1990. A comparison of interactive videodisc instruction with live animal laboratories. American Journal of Physiology 259 (Advances in Physiology Education 4): S11-S14.

Fowler, H.S. & E.J. Brosius. 1968. A research study on the values gained from dissection of animals in secondary school biology. Science Education 52(2): 55-57.

Greenfield, C.L., A.L. Johnson, D.J. Shaeffer & L.L. Hungerford. 1995. Comparison of surgical skills of veterinary students trained using models or live animals. JAVMA 206(12): 1840-1845.

Guy, J.F. & A.J. Frisby. 1992. Using interactive videodiscs to teach gross anatomy to undergraduates at The Ohio State University. Academic Medicine 67: 132-133.

Hart, L., D. Anderson & R. Zasloff. 1993. Alternatives to the use of live animals in veterinary school curricula. Humane Innovations & Alternatives, 7: 499-503.

Heiman, M. 1987. Learning to learn: A behavioral approach to improving thinking. Pp. 431-452 In Perkins, D.N., Lochhead, J., & Bishop, J. (editors) Thinking: The Second International Conference. Lawrence Erlbaum Associates, Hillsdale, New Jersey.

Henman, M.C., & G.D.H. Leach. 1983. An alternative method for pharmacology laboratory class instruction using biovideograph vídeo tape recordings. British Journal of Pharmacology, Vol 80: 591P. 

Hepner, L.H. 1984. Animals in education: The facts, issues and implications. Albuquerque: Richmond Publishers.

Holmberg, D.L., J.R. Cockshutt. & A.W.P. Basher. 1993. Use of a dog abdominal surrogate for teaching surgery. J. Vet. Med. Educ. 20(2): 61-62.

Holmberg, D.L. & J.R. Cockshutt. 1994. A non-animal alternative for teaching introductory surgery. Humane Innovations and Alternatives 8: 635-637.

Intellimation. 1995. MacPig (computer program of foetal pig anatomy). Santa Barbara, CA, USA.

Johnson, A.L. & J.A. Farmer. 1989. Evaluation of traditional and alternative models in psychomotor laboratories for veterinary surgery. J. Vet. Med. Educ. 16(1): 11-14.

Johnson, A.L., J. Harari, J. Lincoln, J.A. Farmer & D. Korvick. 1990. Bone models of pathologic conditions used for teaching veterinary orthopedic surgery. Journal of Veterinary Medical Education 17: 13-15.

Jones, N.A., R.P. Olafson, & J. Sutin. 1978. Evaluation of a gross anatomy program without dissection. Journal of Medical Education 53: 198-205.

Kinzie, M.B., R. Strauss & J. Foss. 1993. The effects of an interactive dissection simulation on the performance and achievement of high school biology students. Journal of Research in Science Teaching 30(8): 989-1000.

Kumar, A.M., R. Murtaugh, D. Brown, T. Ballas, E. Clancy & G. Patronek. 2001. Client donation program for acquiring dogs and cats to teach veterinary gross anatomy. Journal of Veterinary Medical Education 28(2): 73- 77.

Leathard, H.L. & D.G. Dewhurst. 1995. Comparison of the cost-effectiveness of a computerassisted learning program with a tutored demonstration to teach intestinal motility to medical students. ALT-J 3(1): 118-125.

Leonard, W. H. 1992. A comparison of student performance following instruction by interactive videodisc versus conventional laboratory. Journal of Research in Science Teaching, Vol 29 No 1, pp 93 - 102.

Lieb, M.J. 1985. Dissection: A valuable motivational tool or a trauma to the high school student? Unpublished Thesis, Master of Education, National College of Education, Evanston, Illinois, USA.

Lilienfield, L.S., & N.C. Broering. 1994. Computers as teachers: learning from animations. American Journal of Physiology. 11(1): Advances in Physiology Education, pp. S47 - S54.

Matthews, D. 1998. Comparison of MacPig to Fetal Pig Dissection in College Biology. The American Biology Teacher 60(3): 228-229.

McCollum, T.L. 1987. The effect of animal dissections on student acquisition of knowledge of and attitudes toward the animals dissected. Unpublished Doctoral Dissertation, University of Cincinnati, USA.

Mehta A.C., Ost D., Salinas S.G., Sanchez D.E., DeRosiers A., Tasto J.L., Britt E. 2000. Objective assessment of bronchoscopy skills by a bronchoscopy training simulator. American Journal of Respiratory and Critical Care Medicine 161: A234.

Michael, J. A. 1993. Teaching problem solving in small groups. Pp. 37-48. In Modell, H.I., & Michael, J.A. (editors). Promoting Active Learning in the Life Science Classroom. Annals of the New York Academy of Sciences, Vol. 701. New York, NY.

Modell, H.I., & Michael, J.A. (eds). 1993. Promoting Active Learning in the Life Science Classroom. Annals of the New York Academy of Sciences, Vol. 701. New York, NY.

More, D. & C.L. Ralph. 1992. A test of effectiveness of courseware in a college biology class. J. Educational Technology Systems 21: 79-84.

National Academy of Sciences. 1995. National Science Education Standards. National Academy of Science Press. Washington, D.C.

Ost D., DeRosiers A., Britt E., Fein A.M., Lesser M.L., Mehta A.C. 2001. Assessment of a bronchoscopy simulator. American Journal of Respiratory and Critical Care Medicine 2001; 164:2248-2265.

Patronek, G.J. 1998. Spotlight on a school: Tufts University. Alternatives in Veterinary Medical Education 8: 4-5.

Pavletic, M.M., A. Schwartz, J. Berg, & D. Knapp. 1994. An assessment of the outcome of the alternative medical and surgical laboratory program at Tufts University. JAVMA 205(1): 97-100.

Pedersen H. 2002. Humane education. Animals and alternatives in laboratory classes: Aspects, attitudes and implications. Stockholm, Humanimal 4.

Phelps, J.L., J.O. Nilsestuen & S. Hosemann 1992. Assessment of effectiveness of videodisc replacement of a live-animal physiology laboratory. Distinguished Papers Monograph, American Association for Respiratory Care.

Prentice, E.D., W.K. Metcalf, T.H. Quinn, J.G. Sharp, R.H. Jensen & E.A. Holyoke. 1977. Stereoscopic anatomy: Evaluation of a new teaching system in human gross anatomy. Journal of Medical Education 52: 758-763.

Rowe, R.. & Cohen, R. 2000. Virtual reality bronchoscopy simulator (abstract). Anesthesiology. 93(3A): A-1219.

Samsel, R.W., G.A. Schmidt, J.B. Hall, L.D.H. Wood, S.G. Shroff & P.T. Schumacker. 1994.Cardiovascular physiology teaching: Computer simulations vs. animal demonstrations. Advances in Physiology Education 11: S36-S46.

Smeak, D.D., L.N. Hill, M.L. Beck, C.A. Shaffer & S.J. Birchard. 1994. Evaluation of an autotutorial-simulator program for instruction of hollow organ closure Veterinary Surgery 23: 519-528.

Solot, D., & A. Arluke. 1997. Learning the scientist's role: Animal dissection in middle school. Journal of Contemporary Ethnography 26(1): 28-54

Strauss, R.T. & Kinzie, M.B. 1994. Student achievement and attitudes in a pilot study comparing an interactive videodisc simulation to conventional dissection. The American Biology Teacher 56(7): 398-402. 

van der Valk, J., D. Dewhurst, I. Hughes, J. Atkinson, J. Balcombe, H. Braun, K. Gabrielson, F. Gruber, J. Miles, J. Nab, J. Nardi, H. van Wilgenburg, U. Zinko, and J. Zurlo. 1999. Alternatives to the Use of Animals in Higher Education (ECVAM Workshop Report 33). Alternatives to Laboratory Animals 27: 39-52.

White, K.K., L.G. Wheaton & S.A. Greene. 1992. Curriculum change related to live animal use: A four-year surgical curriculum. J. Vet. Med. Educ. 19: 6-10.

Wong T., Darzi A., Foale R. & Schilling R.J. 2001. Virtual reality permanent pacing: Validation of a novel computerized permanent pacemaker implantation simulator. Journal of the American College of Cardiology (Supplement) 37(2): 493A-494A.

Zbinden, G. & M. Flury-Roversy. 1981. Archives of Toxicology 47: 77-99.

Biografia

Jonathan Balcombe nasceu na Inglaterra e foi criado na Nova Zelândia e no Canadá e está morando nos Estados Unidos desde 1987. Ele recebeu seu título de bacharel em biologia pela York University, em Toronto, seu grau de mestre em biologia pela Carleton University, em Ottawa e seu doutorado em etiologia pela University of Tennessee, onde ele estudou a comunicação nos morcegos. De 1993 a 2000, ele trabalhou no The Humane Society of the United States (HSUS), focando em temas relacionados a utilização animal na educação. Além da publicação de artigos sobre a ecologia comportamental dos morcegos, pássaros e tartarugas, Jonathan escreveu mais de trinta artigos sobre o tema de dissecação animal e, em 2000, o Humane Society Press liberou seu primeiro livro: The Use of Animals in Higher Education: Problems, Alternatives and Recommendations. Ele é presidente da East Tennessee Vegetarian Society, vice-presidente da Vegetarian Society of the District of Columbia, Consultor de alternativas da InterNICHE e é atualmente membro da Scientific Advisory Council of The HSUS e conselheiro do European Resource Centre for Alternatives. De 2001 a 2003, Jonathan foi coordenador de pesquisa na Immersion Medical, uma companhia que desenvolve simuladores de realidade virtual para treinamento de cirurgias minimamente invasivas. Ele é atualmente um consultor de pesquisa para a Physicians Committee for Responsible Medicine (PCRM), e escreveu um livro entitulado Pleasurable Kingdom: the Animal Nature of Feeling Good, que será publicado em 2006. Ele mora com sua esposa e filha em York, Inglaterra, e seu interesses principais são pintura em aquarela, pedalar e escrever.


Jonathan Balcombe, PhD

Consultor de Pesquisa
Physicians Committee for Responsible Medicine (PCRM)
5100 Wisconsin Avenue, NW, Suite 400
Washington, DC 20016
USA

tel: +1 202 686 2210
fax: +1 202 686 2216

e-mail: jbalcombe@pcrm.org

www.pcrm.org