Manual de supervisión ISBN: 92-1-131401-6 - UN: HS/545/98 por Phil Bartle, PhD traducción de Mª Lourdes Sada No es suficiente que se haga justicia, pues no se hace justicia hasta que se aprecia. Anónimo Prólogo: Este manual es el resultado de seis años de movilización y de adiestramiento en gestión comunitaria del Programa de Gestión Comunitaria de Uganda, ejecutado por el CNUAH (Hábitat), e implementado por la Dirección de Desarrollo Comunitario del Gobierno de Uganda. No obstante, está diseñado para poder aplicarse en otros países, por lo que no se enfatizan las situaciones específicamente ugandesas, y el estilo de redacción se mantiene tan simple como es posible para facilitar su traducción a lenguas vernáculas y locales de todo el mundo. Se aprendieron muchas lecciones a lo largo de los años, algunas de los éxitos, otras de los fracasos. Gracias a todas ellas, hemos apreciado la fuerza potencial y la asombrosa flexibilidad de las comunidades. Lo que hemos podido comprobar es que todas las comunidades, sin importar lo pobres que sean, tienen recursos (muchos de los cuales están todavía por descubrir) que pueden revelarse, para que ellos, y todo Uganda, pueda desarrollarse. Para revelar estos enormes recursos nacionales, son necesarios la movilización y el adiestramiento para la gestión. A lo largo del camino, todos los interesados tienen que saber qué tal funciona la intervención (movilización y adiestramiento para la gestión). Los interesados son los miembros de la comunidad, líderes, activistas sobre el terreno, coordinadores, directivos, administradores y planificadores en los ámbitos local, regional y central. Este manual, dirigido principalmente a los trabajadores en el terreno (y recomendado a todos los demás involucrados), proporciona cierta guía, consejos, sugerencias y recomendaciones para poner en marcha un necesario sistema de supervisión, para que todos puedan conocer su evolución. Phil Bartle, Consejero Técnico Jefe Laban Mbulamuko, Coordinador Nacional Programa de Gestión Comunitaria de Uganda 1992-1998 Introducción: Este manual, complementario del «Manual para activistas» y del «Manual de generación de riqueza», se centra en los aspectos de supervisión y evaluación del fortalecimiento comunitario. Para complementar los otros dos manuales, este trata en más detalle sobre el propósito y los métodos de supervisión desde el ámbito comunitario hasta el nacional. Aunque estos tres manuales se dirigen en principio a los trabajadores comunitarios sobre el terreno, recomendamos que también los lean los planificadores, administradores y directivos involucrados en la potenciación de comunidades pobres. Como los otros dos, éste es un libro de tipo «cómo hacer». Hay un mínimo de descripción, teoría e historia; se hace hincapié en los conocimientos, métodos y principios. 1. Principios de supervisión: Este capítulo explica qué es supervisión y qué propósito tiene. 1.1 ¿Qué es supervisión? La supervisión es la regular observación y registro de actividades que se llevan a cabo en un proyecto o programa. Es un proceso rutinario de recogida de información sobre todos los aspectos del proyecto. Supervisar es comprobar cómo progresan las actividades del proyecto. Es observación: observación sistemática y pertinente. La supervisión también implica informar sobre el progreso del proyecto a los donantes, ejecutores y beneficiarios del proyecto. Estos informes permiten que la información recabada se utilice en la toma de decisiones para la mejora del funcionamiento del proyecto. 1.2 Propósito de la supervisión: La supervisión es muy importante en la planificación e implementación de proyectos. Es como mirar al camino cuando se va en bicicleta: puede ajustar el recorrido para asegurarse de que no se desvía. La supervisión proporciona información que puede ser útil para: Analizar la situación de la comunidad y de su proyecto, Determinar si las aportaciones al proyecto se utilizan correctamente, Identificar los problemas a los que se enfrenta la comunidad o el proyecto y encontrar soluciones, Asegurar que todas las actividades se llevan a cabo adecuadamente, por las personas apropiadas y a tiempo, Utilizar las lecciones y la experiencia de un proyecto en otro, y Determinar si la forma en que se planeó el proyecto es la más adecuada para resolver el problema al que nos enfrentamos. 2. Supervisión, planificación e implementación: Un proyecto es una serie de actividades (inversiones) que pretende resolver problemas particulares dentro de un periodo y en un emplazamiento determinados. Las inversiones incluyen tiempo, dinero y recursos humanos y materiales. Antes de lograr los objetivos, un proyecto pasa por diferentes fases. La supervisión debe estar presente e integrada en todas las fases del ciclo del proyecto. Las tres fases básicas son: Planificación del proyecto (análisis de la situación, identificación de los problemas, definición de la meta, formulación de estrategias, diseño del plan de trabajo y distribución de presupuestos), Implementación del proyecto (movilización, utilización y control de los recursos, y operación del proyecto), y Evaluación del proyecto. La supervisión deben llevarla a cabo todas las personas e instituciones involucrados (interesados) en el proyecto. Para implementar con eficiencia un proyecto, los planificadores y ejecutores deben planear todas las fases interrelacionadas desde el principio. En el «Manual para activistas» decimos que las preguntas clave de la planificación y la gestión son: (1) ¿Qué queremos?, (2) ¿Qué tenemos? (3) ¿Cómo podemos usar lo que tenemos para conseguir lo que queremos?, y (4) ¿Qué pasará cuando lo hagamos?.Se pueden modificar, diciendo «dónde» en lugar de «qué» , pero los principios siguen siendo los mismos. La preguntas se convierten en: . ¿Dónde estamos? . ¿A dónde queremos ir? . ¿Cómo podemos llegar ahí? y . ¿Qué pasará cuando lleguemos? 2.1 Análisis de la situación y definición de los problemas: Corresponde a la pregunta «¿Dónde estamos?» (¿qué tenemos?). El análisis de la situación es un proceso a través del cual se identifican las características generales y los problemas de la comunidad. Implica la identificación y definición de características y problemas específicos de categorías particulares de gente dentro de la comunidad. Pueden ser discapacitados, mujeres, jóvenes, campesinos, comerciantes y artesanos. El análisis de la situación se hace recabando la información necesaria para entender la comunidad en su conjunto y a las personas dentro de ella. Se debe obtener información sobre situaciones pasadas y presentes, y sobre las previsiones futuras, basándose en las experiencias de la comunidad. La información necesaria para entender a la comunidad incluye, entre otras: Características de la población (como sexo, edad, tribu, religión y extensión de las familias), Estructuras política y administrativa (como comités comunitarios y ayuntamientos), Actividades económicas (como agricultura, comercio, pesca), Tradiciones culturales (como forma de transmisión de herencias y sistemas de clanes), cambios de estado (bodas, ritos funerarios), y ritos de transición (como la circuncisión), Proyectos similares en marcha de los gobiernos provincial, regional y central, organizaciones no gubernamentales (ONG), y organizaciones basadas en la comunidad (OBC), Infraestructura socioeconómica o prestaciones comunitarias (como escuelas, centros de salud y carreteras de acceso), y Organizaciones comunitarias (como grupos de ahorro y crédito, asociaciones de mujeres, grupos de autoayuda y cooperativas funerarias), sus funciones y actividades. La información para el análisis de la situación y la definición de problemas debe recabarse con la colaboración de los miembros de la comunidad utilizando varias técnicas. Con ello se asegura una información válida, fiable y comprensible sobre la comunidad y sus problemas. Se pueden utilizar algunas de estas técnicas: Revisión de documentos, Seguimientos, Discusiones con personas, grupos específicos y con el conjunto de la comunidad, Entrevistas, Observaciones, Escuchar a la gente, Tormenta de ideas, Conversaciones informales, Recursos, servicios y oportunidades sociales del pueblo, Visitas de reconocimiento, mapas, y Cuadros sinópticos de los problemas. El análisis de la situación es importante antes de hacer ningún intento de resolver los problemas porque: Proporciona una oportunidad para comprender la dinámica de la comunidad, Ayuda a aclarar las condiciones sociales, económicas, culturales y políticas, Proporciona una oportunidad inicial para la participación de la gente en todas las actividades del proyecto, Facilita la definición de los problemas de la comunidad y sus soluciones, y Proporciona la información necesaria para determinar objetivos, planificar e implementar. El análisis de la situación debe ser continuo, para proporcionar información adicional durante la implementación, supervisión y replanificación del proyecto. El análisis de la situación y la identificación de problemas debe supervisarse, para asegurar la continua disponibilidad de información correcta y actualizada sobre la comunidad y sus problemas. Ya que la supervisión debe integrarse en todos los aspectos o fases del proceso, repasémoslas y estudiemos qué interesa supervisar en cada una de ellas. 2.2 Establecer metas y objetivos: Esto responde a la pregunta «¿Dónde queremos ir?» (¿Qué queremos?). Antes de hacer ningún intento de implementar un proyecto, los planificadores, ejecutores y beneficiarios deben establecer sus metas y objetivos. Ver Tormenta de ideas , método participativo para hacerlo. Una meta es una declaración de lo que se debe hacer para resolver un problema. Define de forma general lo que se espera de un proyecto. Una meta surge del problema que debe resolverse y señala el destino final de un proyecto. Los objetivos son subconjuntos finitos de una meta, y deben ser específicos para poder lograrse. Los objetivos deben ser «SMART». Deben ser: eSpecíficos: claros en cuanto a qué, dónde, cuándo y cómo se va a cambiar la situación, Medibles: que puedan cuantificarse sus metas y beneficios, reAlizables: que puedan llevarse a cabo (conociendo los recursos y capacidades a disposición de la comunidad), Realistas: que se pueda lograr el cambio que refleja el objetivo, y limitado en Tiempo: que se establezca el periodo en el que cada objetivo debe lograrse. Para lograr los objetivos de un proyecto, es esencial evaluar los recursos disponibles en la comunidad, y los que pueden obtenerse de fuentes externas. Ver Descubrir recursos ocultos. Los planificadores, implementadores y miembros de la comunidad deben también identificar los obstáculos que pueden surgir en la ejecución del proyecto y cómo se pueden solventar. Basándose en la proporción de obstáculos y fuerzas positivas, los ejecutores pueden decidir si continúan con el proyecto o lo abandonan. Las metas y objetivos proporcionan la base para supervisar y evaluar un proyecto. Son el criterio para medir el éxito o el fracaso de un proyecto. 2.3 Generación de estructuras y estrategias: Este aspecto corresponde a la tercera pregunta clave, «¿Cómo podemos llegar ahí?» (¿Cómo podemos conseguir lo que queremos con lo que tenemos?). Los planificadores y ejecutores (las comunidades y sus mediadores) deben decidir cómo van a implementar un proyecto, es decir, la estrategia. Acordar una estrategia implica determinar todos los factores (aportaciones) necesarios para llevar a cabo el proyecto, definir los diferentes grupos o personas y sus funciones concretas en el proyecto. Estos grupos y personas encargadas de funciones particulares dentro del proyecto se denominan «ejecutantes». Por lo tanto, la generación de estructuras y estrategias implica: Discutir y acordar las actividades que se van a realizar durante la implementación, Definir los diferentes ejecutantes dentro y fuera de la comunidad, y sus funciones, y Definir y distribuir los costes y materiales necesarios para implementar el proyecto. Después de establecer la idoneidad de las decisiones, la ejecutiva debe discutir y acordar con los ejecutantes la forma de implementar el proyecto. Esto se denomina diseño del plan de trabajo. (¿Cómo conseguir lo que queremos?). Un plan de trabajo es una descripción de las actividades necesarias ordenadas por fases, con una indicación aproximada del tiempo. Para hacer un buen borrador de plan de trabajo, los ejecutores deben: Listar todas las tareas requeridas para implementar un proyecto, Ordenar las tareas en la forma en que se deben efectuar, Señalar la adjudicación de responsabilidades a los ejecutores, y Indicar el calendario de cada actividad. El plan de trabajo es una guía para la implementación del proyecto y la base para su supervisión. Por lo tanto, ayuda a: Finalizar el proyecto a tiempo, Hacer las cosas necesarias en el orden correcto, Identificar quién será responsable de cada actividad, y Determinar cuando comienza la implementación del proyecto. Los ejecutores y planificadores tienen que acordar los indicadores para la supervisión. Estos indicadores son signos (criterios) cuantitativos y cualitativos para medir o evaluar los logros de las actividades y objetivos del proyecto. Los indicadores mostrarán el punto hasta el que se han conseguido los objetivos de cada actividad. Los indicadores de supervisión deben ser explícitos, adecuados y objetivamente verificables. Los indicadores de supervisión son de cuatro tipos, llamados: Indicadores de aportación: describen lo que emplea el proyecto (como el número de ladrillos utilizados y la cantidad de dinero gastado), Indicadores de producción: describen la actividad del proyecto (como el número de aulas construidas), Indicadores de resultados : describen el efecto de la actividad (como el número de alumnos que acuden a la escuela), y Indicadores de impacto: miden el cambio en las condiciones de la comunidad (como la reducción del analfabetismo en la comunidad). Poner por escrito las estructuras y estrategias ayuda en la supervisión del proyecto porque especifican lo que se debe hacer durante su implementación. La planificación debe indicar lo que debe supervisarse, quién debe supervisar, y cómo debe llevarse a cabo la supervisión. 2.4. Implementación: La implementación de la supervisión responde a la cuarta pregunta clave «¿Qué pasará cuando lo hagamos?». La implementación es la fase en la que se emprenden todas las actividades planeadas. Antes de la implementación de un proyecto, los ejecutores (encabezados por el comité o ejecutiva del proyecto) deben identificar sus puntos fuertes y débiles (fuerzas internas), oportunidades y obstáculos (fuerzas externas). Los puntos fuertes y oportunidades son las fuerzas positivas que deben explotarse para implementar un proyecto con eficiencia. Los puntos débiles y obstáculos son los inconvenientes que pueden hacer peligrar la implementación. Los ejecutores deben asegurarse de idear formas de evitarlos. La supervisión es importante en esta fase de implementación para asegurar que el proyecto se implementa según el programa. Es un proceso continuo que debe organizarse antes de que comience la implementación del proyecto. Así, las actividades de supervisión deben aparecer en el plan de trabajo y tienen que involucrar a todos los interesados. Si las actividades no van bien, debe hacerse lo necesario para identificar y corregir el problema. La supervisión es también importante para asegurarse de que las actividades se implementan como se planeó. Esto ayuda a los ejecutores a medir hasta qué punto están consiguiendo sus metas. Esto se basa en entender que el proceso a través del que se implementa un proyecto tiene un gran efecto en su uso, aprovechamiento y mantenimiento. Por lo tanto, si la implementación del proyecto en marcha no es satisfactoria, los implementadores tienen que preguntarse y responder la pregunta «¿Qué tal estamos llegando?» (¿qué pasará cuando lo hagamos?). 2.5. Sumario de la relación: Lo anterior ilustra la estrecha relación entre supervisión, planificación e implementación. Demuestra que: La planificación describe las formas en que se deben efectuar la implementación y la supervisión, La implementación y la supervisión se guían por el plan de trabajo del proyecto, y La supervisión proporciona información para la planificación e implementación del proyecto. Hay una relación estrecha entre la planificación, implementación y supervisión, en la que se refuerzan (apoyan) unas a otras. No puede efectuarse una de ellas aisladamente de las otras dos, y cuando se lleva a cabo una de las tres, los planificadores e implementadores deben contar con los demás. 3. Evaluación: La evaluación es diferente de la supervisión, pero se relacionan estrechamente. 3.1 El significado de evaluación: La evaluación es el proceso de hacer un juicio de valor sobre lo que un proyecto o programa ha conseguido en relación a las actividades planificadas y los objetivos generales. Implica un juicio de valor y por lo tanto es distinta a la supervisión (que es observación e información de las observaciones). 3.2. Propósito de la evaluación: La evaluación es importante para identificar los obstáculos e impedimentos que impiden que el proyecto logre sus objetivos. Pueden identificarse e implementarse soluciones a estos obstáculos. Evaluar los beneficios y costes que conciernen a los beneficiarios directos e indirectos del proyecto. Si el proyecto que se implementa es, por ejemplo, la protección de un manantial, la evaluación revela quién utilizará el agua, quién es el propietario de la tierra que se va a emplear, y de las cosechas que se destruirán en el proceso de recogida del agua. Extraer lecciones de la experiencia de la implementación del proyecto, y utilizarlas en la planificación de otros proyectos en esa comunidad y en otras. y.Proporcionar un panorama claro del punto hasta el que se han realizado los objetivos y actividades que pretendía el proyecto. 3.3. El proceso de evaluación: La evaluación puede hacerse (a) antes, (b) durante y (c) después de la implementación. Antes de la implementación del proyecto, es necesaria la evaluación para: Valorar las posibles consecuencias de los proyectos planificados en la gente de la comunidad a lo largo de un periodo de tiempo, Tomar una decisión definitiva sobre qué alternativa de proyecto se debe implementar, y Ayudar a tomar decisiones sobre la forma de implementar el proyecto. Durante la implementación del proyecto: la evaluación debe ser un proceso continuo y debe efectuarse en todas las actividades de implementación del proyecto. Esto permite a los planificadores y ejecutores revisar progresivamente las estrategias del proyecto de acuerdo a las circunstancias cambiantes para lograr la actividad deseada y los objetivos del proyecto. Después de la implementación del proyecto: Esto permite repasar los procesos de planificación e implementación del proyecto, y sus resultados tras la implementación. En el futuro, esto ayudará a: Identificar obstáculos e impedimentos inherentes a la fase de implementación, Evaluar los beneficios reales y el número de personas beneficiadas, Proporcionar ideas sobre la firmeza del proyecto para imitarlo, y Proporcionar un panorama claro del punto hasta el que se han conseguido los objetivos deseados. 4. Información para la gestión: La información para la gestión y la gestión de la información son diferentes: la información para la gestión es un tipo de información (datos), mientras que la gestión de la información es un tipo de gestión (sistema). La gestión de la información es el proceso de analizar y utilizar la información que se ha recabado y almacenado para permitir a los gestores (de todos los niveles) tomar decisiones bien documentadas. La información para la gestión es la información necesaria para tomar decisiones de gestión. La evaluación proporciona información sobre los que sucede con el proyecto. Esta información se recaba durante las fases de planificación e implementación. La información ayuda a descubrir si algo va mal en el proyecto. Así, la gestión puede buscar soluciones para asegurar el éxito. 4.1. La importancia de la información para la gestión: La información para la gestión es importante para: Tomar las decisiones necesarias para mejorar la gestión de servicios y prestaciones, e Llevar a cabo la planificación, implementación, supervisión y evaluación participativas. 4.2. Cómo gestionar la información: Para poder utilizar la información para tomar decisiones de gestión, hay que gestionar la información (recabar, almacenar y analizar). Aunque la gestión de la información (el proceso de recabar y almacenar información) y la información para la gestión (la información necesaria para tomar decisiones documentadas) son diferentes, se refuerzan mutuamente y no pueden separarse en las operaciones diarias. Por tanto, la información para la gestión implica: determinar la información que se necesita, recabar y analizar esta información, almacenarla y recuperarla cuando se necesite, usarla, y difundirla. Determinar la información necesaria para la gestión: Durante la planificación, gestión y supervisión de un proyecto se genera mucha información. Una parte es necesaria para tomar decisiones de gestión en el momento, otra para tomar decisiones en el futuro. Por lo tanto, un buen sistema de gestión de la información ayudará a los gestores del proyecto a conocer la información que necesitan recabar, para diferentes decisiones en distintos momentos. Recabar y analizar la información para su gestión: La información puede venir de informes de técnicos, libros de la comunidad, formularios cumplimentados por los distintos ejecutantes, reuniones comunitarias, entrevistas, observaciones y mapas de la comunidad. Almacenamiento de la información: Es importante almacenar información para referencias futuras. La información puede guardarse en el libro de la comunidad, informes del proyecto, formularios o en la mente. El principio más importante en el almacenamiento de la información es la facilidad con la que puede recuperarse. Usar la información: La información puede utilizarse en la resolución de problemas comunitarios, determinación de fuentes (cantidad y naturaleza), solicitud de apoyo por su parte y concreción de proyectos futuros. Difusión o flujo de información: Para que la información se utilice adecuadamente, tiene que compartirse con otros interesados o usuarios. Los demás interesados también puede utilizar esta información para sus decisiones de gestión, y pueden ayudar al primero dando significado y uso a los propósitos de su gestión. La información debe intercambiarse entre el pueblo, la comarca, la provincia, la región, la oficina nacional, las ONG y los donantes. La información para la gestión es parte integrante de la supervisión porque este tipo de información se obtiene de la supervisión, y ayuda en la planificación e implementación de las actividades de supervisión. 5. Participación en la supervisión del proyecto: La supervisión es un factor vital en la gestión y no puede dejarse a un sólo interesado. Por lo tanto, deben participar en la supervisión, en todos sus ámbitos, tantas personas e instituciones con intereses en el proyecto como sea posible. 5.1. Ventajas de la participación: Entre las ventajas de la participación en la supervisión podemos contar: (a) comprensión colectiva, (b) mejora de la contabilidad (c) decisiones más acertadas, (d) mayor perfección en la ejecución, (e) mejora del diseño y (f) mayor información. Comprensión colectiva de los problemas e identificación común de soluciones.: la supervisión participativa ayuda a los interesados a tener una perspectiva compartida de los problemas a los que se enfrenta la comunidad o el proyecto (su causa, magnitud, efectos e implicaciones). Esto facilita la identificación de soluciones. Es más probable que estas soluciones sean las adecuadas porque se derivan de la situación actual. Beneficia a los grupos destinatarios y mejora la contabilidad: la participación en la supervisión asegura que la gente a la que se dirige el proyecto sea la que se beneficia de él. Incrementa la conciencia de la gente sobre sus propios derechos, lo que suscita su participación en la vigilancia para evitar la apropiación indebida de recursos destinados al proyecto. Esta vigilancia hace la implementación del proyecto menos costosa. Tomar decisiones adecuadas: la supervisión proporciona la información necesaria para tomar decisiones de gestión. Cuando mucha gente participa en la supervisión, el efecto es que han participado proporcionando información para la gestión y contribuido a la toma de decisiones. Lógicamente, las decisiones que se derivan de esta información se aceptan mejor y son más relevantes para la mayor parte de la población. Esto facilita la movilización de personas y recursos para la implementación del proyecto. Mejora de la actuación gracias a la supervisión: si se descubre una desviación en la ejecución, se pueden buscar soluciones. Para tomar decisiones adecuadas que se puedan ejecutar, hace falta la participación de las personas que pondrán en práctica la solución. Por lo tanto, la participación en la supervisión puede ayudar a perfeccionar la ejecución. Diseño de proyectos: la información generada durante la supervisión ayuda a rediseñar el proyecto para adecuarlo y hacerlo más aceptable en esa localidad. La experiencia también se puede utilizar en el diseño de proyectos similares en otro lugar. Recabar información : Si mucha gente participa en la supervisión, es más fácil que se consiga mayor información y más exacta. Esto se produce porque la información que deja pasar una persona, la recoge otra. Cada interesado hace un énfasis diferente en los distintos aspectos del proyecto utilizando distintos métodos. Alternativamente, cuando una persona sabe que la información que recoge será verificada, evita deliberadamente los informes incorrectos. 5.2 Retos de la participación en la supervisión: Aunque la participación en la supervisión tiene muchas virtudes, es probable que también se enfrente a muchas dificultades. Entre esta, (a) alto coste, (b) variaciones en la información y (c) inexactitudes. Altos costes iniciales: la participación en la supervisión requiere muchos recursos (como tiempo, transporte y dietas relacionadas con las actuaciones). Es un proceso exigente que puede consumir el espíritu voluntario en el ámbito comunitario y muchos recursos financieros en los ámbitos regional y nacional. Por lo tanto, debe ser simple, y centrarse en los elementos vitales. Cantidad y variedad de información: la supervisión exige la obtención, documentación y el intercambio de una gran cantidad de información. Esto requiere conocimientos que suelen ser escasos en las comunidades. Por lo tanto, hace falta mucho tiempo y recursos para desarrollar esta capacidad. También existe el riesgo de obtener informes erróneos. Inexactitud de la información: algunos de los interesados, desde el ámbito comunitario hasta el nacional, pueden suministrar intencionadamente información errónea que reseñe una mejor actuación y unos resultados superiores, o a causa de desacuerdos con la comunidad o con el proyecto. Para contrarrestar los informes incorrectos o falsos, es necesaria una sensibilización y una consecución de consenso difíciles de lograr. Las ventajas de la participación en la supervisión son, evidentemente, más numerosas que sus dificultades. Por tanto, es necesario estimular y apoyar la supervisión participativa a la vez que ideamos medios para neutralizar las dificultades. 6. Niveles de supervisión: Los interesados deberían llevar a cabo la supervisión en todos los niveles. No obstante, cada nivel tiene objetivos, métodos, y por lo tanto, papeles específicos para esta supervisión. Para que la supervisión sea efectiva, hace falta un mecanismo que recoja las reacciones de todos los involucrados en todos los niveles (comunidad, región, país y donantes). 6.1 Supervisión en el ámbito comunitario: La comunidad es el ámbito en que tiene lugar la implementación y la utilización de los beneficios del proyecto. En muchos casos se trata de un pueblo o comarca. En este ámbito, el propósito principal de la supervisión en mejorar la implementación y la gestión de los proyectos. El interés del conjunto de la comunidad en supervisar, por ejemplo, la construcción de una escuela, es asegurar que la construcción de la escuela (producto) se hace como se planeó. Los objetivos específicos para la supervisión en este ámbito, por lo tanto, son (a) asegurarse de que los proyectos se implementan a tiempo, (b) que son de buena calidad, y (c) que los productos del proyecto se utilizan correctamente. La supervisión en este ámbito implica: Identificar un proyecto comunitario. Esto debe hacerse de forma participativa para reflejar las necesidades de la comunidad y estimular el interés popular en su implementación y supervisión. Si el proceso de identificación del proyecto no se hace de forma correcta y no refleja los intereses comunitarios, es probable que las comunidades no participen en las actividades de supervisión e implementación. Identificar al (los) equipo(s) que encabezará(n) la supervisión del proyecto en la comunidad. Los papeles de cada equipo, cómo deben llevar a cabo el proceso de supervisión, el uso e intercambio de la información generada con otros grupos dentro y fuera de la comunidad, debe especificarse y explicarse. Diseñar un plan de trabajo que guíe la supervisión del proyecto. El plan de trabajo debe especificar las actividades en el orden en que deben ejecutarse y las personas que las ejecutarán. Esto ayuda a los supervisores a conocer las actividades que se tienen que llevar a cabo y por quién, en un periodo de tiempo dado. Si las actividades no se ejecutan, los supervisores ayudan a reconducir el proceso y descubrir soluciones. Determinar las actividades principales del plan de trabajo. Aunque todas las actividades del plan de trabajo son necesarias y deben supervisarse, es útil identificar las actividades principales, en las que se basarán los objetivos e indicadores. Por ejemplo, si las actividades preparatorias de la construcción de una escuela incluyen la movilización comunitaria, el suministro de herramientas de una aldea vecina, la excavación del suelo, y la obtención de agua para elaborar ladrillos, la actividad principal que englobe a todas estas subactividades puede ser la elaboración de ladrillos. Determinar los indicadores para cada objetivo de una actividad. Los indicadores ayudan al equipo de supervisión a averiguar hasta qué punto se han alcanzado los objetivos de cada actividad. En nuestro ejemplo, un indicador puede ser el número de ladrillos hechos y.La comparación de lo que se hace con lo que se planeó debe hacerse en el proceso de comprobación de que el proyecto responde al calendario fijado y a su planificación. Los supervisores deben observar los indicadores para medir el punto de consecución de los objetivos. Esto implica comprobar la calidad del trabajo para asegurarse de que es buena. El equipo de supervisión puede tener necesidad de un experto, como un artesano local o un técnico ministerial para determinar la calidad del proyecto (si se trata de una construcción). Después, el equipo de supervisión debe acordar la frecuencia con la que visitarán la ubicación del proyecto como medio de verificar su marcha. En el caso de un proyecto comunitario, para evitar desviaciones del plan de trabajo, las visitas de supervisión deben hacerse al menos una vez a la semana. Durante estas visitas, el equipo debe examinar lo que se hace (observar) y hablar con todos los que están implicados en el proyecto. En cada actividad, el equipo de supervisión debe identificar los objetivos. Por ejemplo, el objetivo de la actividad de elaboración de ladrillos para la construcción de una escuela puede ser la producción de diez mil ladrillos antes de finales de febrero. Cada vez que se efectúa una visita de supervisión, debe escribirse un informe de los descubrimientos. Se puede utilizar un formulario anexo o acordar otra forma de elaborar el informe que refleje las observaciones en relación con el plan de trabajo. Las observaciones que se desprenden de las visitas de supervisión deben discutirse con otros miembros del comité de implementación. Los equipos de supervisión e implementación deben utilizar la información obtenida para detectar y resolver los problemas que surjan en el proyecto. Ambos equipos deben almacenar bien la información para utilizarla en acciones futuras y para informar a otros interesados. En cada lugar de actuación debe haber un archivo que contenga las copias de los informes de supervisión y de otros documentos relacionados con el proyecto. 6.2 Supervisión en el ámbito regional y provincial: Los funcionarios regionales y provinciales deben obtener información de la supervisión comunitaria (supervisión de la actuación para convertir las aportaciones en resultados). También tienen que supervisar el producto del proyecto (como el efecto de la construcción de una escuela en el número de inscripciones). Los funcionarios regionales deben también supervisar el incremento de fuerza, capacidad y poder de la comunidad destinataria para estimular su propio desarrollo. Por tanto, los objetivos son: apoyar la mejora en la realización del proyecto y medir la aplicabilidad de la forma en la que el proyecto fue diseñado en relación al fortalecimiento comunitario. Los métodos para supervisar que pueden adoptarse en este ámbito incluyen (a) supervisión de rutina y (b) apoyo cualitativo. Supervisión de rutina y apoyo cualitativo: requiere que el Coordinador Regional del Proyecto, el Asistente de Desarrollo Comunitario, otros técnicos y políticos regionales y provinciales visiten la ubicación del proyecto para determinar lo que se hace en relación a lo que se planeó. En la ubicación del proyecto deben archivarse copias del plan de trabajo y de los informes de la supervisión comunitaria. Esto ayudará a quien lo desee a comparar el progreso real con el plan de trabajo, y a leer los comentarios del equipo de supervisión sin necesidad de hablar con ellos, que pueden ser difíciles de encontrar en un momento determinado. En la supervisión de rutina, se debe dialogar con todos los involucrados en la implementación y la supervisión del proyecto. Observe la forma en la que cada equipo lleva a cabo sus tareas (como medio de verificar el incremento de la capacidad comunitaria). Haga comentarios y regístrelos sobre los elementos buenos y malos del proyecto. Recomiende soluciones que expliquen quién debe ejecutarlas, y los efectos negativos sobre el presupuesto y el calendario que puede sufrir el proyecto en caso de que no se realicen. Debe dejarse una copia de estos comentarios en el archivo del sitio del proyecto y también deben ser discutidos y archivados en la oficina regional. También deben organizarse discusiones sobre el progreso del proyecto en los ámbitos provincial y comarcal al menos una vez al mes. Asimismo, archive y envíe un informe de progreso del proyecto como parte de la información mensual a las oficinas regional y nacional respectivamente. Los puntos principales que hay que observar durante la supervisión rutinaria provincial y comarcal son: Cantidades reales de contribuciones de la comunidad, comarca, provincia y donantes (incluyendo fondos, materiales, tiempo y ayuda técnica), Implementación pertinente y calidad de los proyectos, Uso adecuado y contabilidad de los recursos de los donantes y la comunidad, Proporción de la implicación comunitaria en el proyecto, Participación y actuación de los comités comunitarios, y Uso oportuno de la información generada por la supervisión comunitaria de rutina. Examen cualitativo: la región, junto con la provincia, debe organizar debates específicos de grupo, entrevistas con los informantes clave y discusiones comunitarias de grupo, con las comunidades y otros informantes al menos dos veces al año. Estos exámenes ayudarán a la región a: Verificar parte de la información recabada por la comunidad y la región, Conseguir información que no se ha obtenido durante la supervisión de rutina, Discutir in situ con las comunidades sobre las posibles soluciones a problemas que pueden amenazar la ejecución del proyecto, y Discutir con la comunidad, aprender de ellos, explicar temas relacionados con el desarrollo de la capacidad. Estos exámenes cualitativos deben ser simples e involucrar a los miembros de la comunidad para reducir el coste y permitirles aprender cómo conducirse como medio para el fortalecimiento comunitario. Los resultados deben analizarse en relación a la comunidad y a los descubrimientos rutinarios de la región, y también deben debatirse las soluciones. Los hallazgos deben estar bien documentados y comunicarse a los responsables nacionales para ayudar a la gestión de la información en el ámbito nacional. Los puntos principales durante los exámenes cualitativos son: Establecer si los proyectos corresponden a las prioridades comunitarias (además de la conveniencia de la identificación del proyecto), El conocimiento y la apreciación por parte de los miembros de la comunidad de la metodología del proyecto, y su deseo de participar y contribuir a las actividades del proyecto, La efectividad de los miembros de la comunidad durante la supervisión del proyecto, Las opiniones de los miembros de la comunidad sobre la calidad y uso de los recursos (contabilidad precisa), Los conocimientos (como la capacidad de toma de decisiones o de negociación) adquiridos por categorías específicas de gente de la comunidad durante la implementación del proyecto, y El conocimiento comunitario de sus propios derechos y obligaciones. Antes de efectuar exámenes cualitativos, cada región y provincia debe identificar y debatir todas las lagunas en la información de gestión para elaborar temas periódicos. También deben acordarse diseños específicos en esta fase. 6.3. Supervisión en los ámbitos nacional y de donantes: La supervisión en los ámbitos nacional y de donantes significa descubrir si las aportaciones al proyecto se utilizan bien (si se alcanzan los objetivos previstos) y si el diseño del proyecto es adecuado, y además, acumular experiencia. Los objetivos de la supervisión en este ámbito son: Asegurarse de que las aportaciones se utilizan eficiente y efectivamente, Que se realizan las actividades planeadas, Para medir si la metodología es aplicable al fortalecimiento comunitario, y Para extraer lecciones de la intervención del proyecto para futuros proyectos en el país y fuera de él. Estas lecciones proporcionarán la base para la repetición de la metodología del proyecto. Los métodos para supervisar en este ámbito son: (a) supervisión de rutina, (b) investigación de las acciones y estudios cualitativos y (c) seguimientos. Supervisión de rutina: la supervisión de rutina la debe llevar a cabo de forma trimestral el personal del proyecto y la unidad de planificación del ministerio, para comprobar el volumen de actividad y la consecución de objetivos. Ya que el ámbito nacional obtiene información sobre los proyectos y actividades a través de los informes de progreso mensuales regionales, la supervisión rutinaria nacional debe tener ciertos límites. Debe cubrir aspectos que parecen contradictorios, problemáticos, muy satisfactorios o únicos. Esto permitirá a la oficina nacional proporcionar el apoyo necesario y extraer lecciones. Investigación de la acción y estudios cualitativos: la oficina nacional debe llevar a cabo estudios cualitativos minuciosos una vez al año. Estos estudios se centrarán en extraer lecciones del diseño del proyecto y experiencias de la implementación para una posible repetición. Por tanto, los puntos más importantes en este ámbito son: Averiguar si la contribución a proyectos comunitarios se encuentra entre las prioridades de los donantes, La satisfacción de las comunidades (utilización de los servicios y prestaciones), La capacidad de la comunidad para operar y mantener los servicios y prestaciones, Las posibilidades de los miembros de la comunidad para pagar por estos servicios y prestaciones, La idoneidad de la metodología del proyecto a la luz de las políticas nacionales, El liderazgo, autoridad y confianza dentro de las comunidades, Desarrollo de la capacidad y funciones del personal de los gobiernos local y regional, La representación (sobre todo femenina) en el proceso de toma de decisiones de la comunidad, La repetición de experiencias en otros proyectos e instituciones de adiestramiento, El desarrollo de la capacidad de las personas y las instituciones existentes, y El funcionamiento de los sistemas de supervisión y de gestión de la información. Seguimientos: También pueden hacerse seguimientos para recoger datos cuantificables y complementar la información generada por otros métodos. Estos seguimientos se pueden contratar con instituciones de investigación como las universidades. 6.4. Temas de supervisión y procedimientos en los distintos ámbitos: Aquí se describen los elementos a supervisar y los procedimientos para cada estamento. Con ello queremos enfatizar que los interesados deben encabezar, pero no llevar a cabo en solitario, toda la supervisión. En la práctica, los factores a supervisar y los procedimientos de los distintos interesados se superponen. Cada interesado debe apoyar a los demás en sus responsabilidades supervisoras. Los temas que se mencionan en esta sección no son exhaustivos, pero indican lo que debe hacerse. Por tanto, cada estamento debe recoger información en cualquier tema relevante en una situación particular. Se presentan en tres tablas correspondientes a los ámbitos (1) comunitario, (2) regional, y (3) nacional, indicando los factores clave en cada uno. 6.5. Ámbito comunitario: En el ámbito comunitario, los tres ejecutantes principales que tienen intereses en la intervención para el fortalecimiento comunitario son: La OBC, comité ejecutivo o implementador (CIC) del proyecto comunitario, Los activistas comunitarios, y El comité de desarrollo comarcal (CDC). La tabla siguiente muestra los temas de interés principales, indicadores de supervisión, medios de observación, frecuencia, y procedimientos de supervisión sugeridos, para cada uno de estos tres interesados. Interesado Tema Indicador de supervisión Medios de observación Freq. Procedimiento de supervisión Comité ejecutivo Calendario de implementación de los proyectos Número de actividades del proyecto implementadas a tiempo Visitas rutinarias al proyecto Semanal Los miembros usan un formulario de supervisión Uso adecuado de los recursos del proyecto No se utilizan mal los materiales Visitas rutinarias, controles de calidad Semanal Los miembros usan un formulario de supervisión. Se controla la calidad con la orientación de un técnico La información de proyecto se recaba y almacena adecuadamente Porcentaje de proyectos con archivos en el sitio, número de informes en los archivos Revisión de los archivos del sitio del proyecto Semanal Los miembros del comité del proyecto revisan los archivos, informes y comentarios del sitio del proyecto Activistas comunitarios Realismo del plan de trabajo para la implementación del proyecto Número de planes de trabajo de proyectos con actividades bien ordenadas Comparar actividades del plan de trabajo con la forma en que se implementan Mensual Los activistas (1) revisan la secuencia de los planes de proyectos con un técnico, y (2) efectúan visitas mensuales al sitio Participación comunitaria en las actividades del proyecto Número de personas que desempeñan sus papeles Número de actividades, cantidad de recursos suministrados por la comunidad Mensual Visitas al sitio del proyecto, discusiones con la gente sobre sus contribuciones Comité de desarrollo comarcal Contabilidad de los recursos del proyecto Porcentaje de recursos administrados Formulario de contabilidad de recursos Trimestral Los miembros del CDC utilizan formularios de contabilidad de recursos 6.6. Ámbito provincial y regional: En el ámbito provincial y regional (más que en el comunitario), los principales ejecutantes con intereses en la intervención para el fortalecimiento comunitario son: Los asistentes de desarrollo comunitario (ADC), La unidad de planificación y El coordinador regional del proyecto, (CRP) que si es un funcionario ministerial, normalmente se trata de un oficial de desarrollo comunitario (ODC) o un equivalente dentro de una ONG. La tabla siguiente muestra los temas principales de interés, indicadores de supervisión, medios de observación, frecuencia y procedimientos de supervisión sugeridos para cada uno de estos tres interesados. Interesado Tema Indicador de supervisión Medio de verificaciónFreq. Procedimiento de supervisión Asistente de desarrollo comunitario Funcionamiento de activistas y comités comunitarios Número de comités que desempeñan sus funciones Revisión de la actuación de cada comité Semestral Los ADC evalúan la actuación de cada comité durante los estudios cualitativos Coordinador regional del proyecto y Unidad de planificación Identificación de proyectos que encajan en los planes regionales y las prioridades nacionales Número de proyectos dentro del plan regional Revisión de los informes de identificación de proyectos. Visitas a los proyectos Semestral La unidad de planificación revisa los planes comarcales, para establecer si encajan en las áreas del plan regional y de las prioridades nacionales. Adquisición de conocimientos de gestión por los líderes comunitarios Número de pueblos que practican la participación comunitaria en la planificación e implementación de proyectos Revisión de los informes de los proyectos. Discusiones específicas de grupo y otras técnicas de estudio cualitativo. Semestral Las unidades de planificación efectúan estudios cualitativos para descubrir si las comunidades participan en las actividades del proyecto. Hay que diseñar procedimientos regionales específicos cuando se lleva a cabo el ejercicio. 6.7. Ámbito nacional y de donantes: En el ámbito nacional hay dos interesados principales, (1) el ministerio o institución que implementa la intervención o proyecto, y (2) cualquier donante externo nacional o internacional que contribuya a la intervención o proyecto. Interesado Tema Indicador de supervisión Medio de verificación Freq. Procedimiento de supervisión Delegación nacional y Donantes Conocimiento de la metodología por parte de la comunidad Proporción de gente consciente de la metodologíaSeguimientos, discusiones específicas de grupo, entrevistas con informantes clave Anual La institución o ministerio diseñan y efectúan estudios anuales Efectividad del diseño del proyecto Porcentaje de los objetivos de proyecto conseguidos. Porcentaje de los aspectos del diseño que la comunidad puede apreciar. Revisión de los informes del proyecto, seguimientos, discusiones específicas de grupo, entrevistas con informantes clave Anual La institución o ministerio diseñan y efectúan estudios anuales Adaptación de las experiencias de implementación de otros proyectos e instituciones en el país Proporción de aspectos del diseño del proyecto adaptados Discusiones nacionales e internacionales Anual La organización o ministerio celebra reuniones con instituciones académicas y proyectos comunitarios para descubrir qué aspectos de la metodología se han imitado. 7. Informes: Los informes constituyen una actividad principal en la supervisión del proyecto. Es la forma en la que la información sobre el proceso y los resultados de las actividades, y no sólo estas actividades, se intercambia entre los interesados en el proyecto. Ver también Redacción de informes. En el caso del proyecto de construcción de una escuela, los informes no se limitan a mencionar el número de veces que la comunidad se reúne para fabricar ladrillos y levantar los muros del edificio, sino que también habla del proceso a través del que se ha conseguido todo esto. En los proyectos comunitarios, los informes se hacen principalmente de dos formas: verbal y escrita. 7.1. Informes verbales: Este es un proceso en el que la información se transmite oralmente. Es la clase de informe más común. Los miembros de la comunidad encuentran más fácil y efectivo comunicarse con otros hablando. Las ventajas de los informes verbales son: La posibilidad de participación de una proporción más amplia de la comunidad. Muchos miembros de comunidades de áreas rurales son analfabetos y no saben escribir. Los que saben, consideran la redacción de informes como una actividad que consume mucho tiempo y recursos, lo que les hace ser reticentes a la hora de poner por escrito la información obtenida durante la supervisión del proyecto. Claridad y distribución rápida de la información. Los informes verbales se hacen siempre inmediatamente después de un acontecimiento. Esto hace que la información que surge del proceso sea relativamente más válida, fiable y actual que la información por escrito. La gente que hace los informes, tiene la oportunidad de discutir con la comunidad y obtener su reacción inmediata. Esto ayuda en la toma de decisiones. Bajo coste. Los informes verbales rebajan significativamente el tiempo y otros recursos necesarios para transmitir la información. Los inconvenientes de los informes verbales son: Información errónea. Algunos miembros de la comunidad pueden diseminar de forma oral, deliberadamente, información falsa para proteger sus intereses. En algunos casos, los informes verbales son tentadores porque el informante sabe que nadie va a rebatir su información. En otros casos, el informante no tiene tiempo de reflexionar sobre las respuestas. Almacenamiento, repetición y coherencia. Puesto que la información verbal ni se escribe ni se almacenada, es muy difícil guardarla y recuperarla para usos futuros. Esta información sólo se guarda en la mente de la gente que participó en la implementación del proyecto. Por lo tanto, esto la hace difícil de intercambiar con la gente de fuera de la comunidad, sobre todo con las instancias a las que la gente que posee la información no tiene acceso o no quiere revelarla. Además, es probable que la información recogida no sea coherente, especialmente en casos en los que se necesita información anterior para generar nuevos datos. 7.2. Informes escritos: Durante la supervisión, es importante informar sobre los resultados de las actividades, y no sólo de éstas. Escriba lo que observe, además de revisar los informes de los técnicos. Las ventajas de los informes escritos son: Proporcionan información fiable para propósitos de gestión (los informes escritos pueden compararse más adelante con otra información para comprobar su exactitud), Ayudan a obtener información de los técnicos, y Los informes escritos son fáciles de manejar. Los inconvenientes de los informes escritos son: Se ignora sistemáticamente el poner por escrito las observaciones de la supervisión diaria, y La redacción de informes consume mucho tiempo y dinero. 7.3. Responsabilidad informativa de los interesados clave: Ámbito comunitario: Comités de proyecto: Diseñar y divulgar (junto con los activistas) el plan de trabajo de la implementación del proyecto al comité comarcal de desarrollo, ayuntamientos locales y comunidad, Compilar y divulgar los informes mensuales de progreso del proyecto al comité comarcal de desarrollo, ayuntamientos locales de la zona y al asistente de desarrollo comunitario, y Mantener el archivo del sitio del proyecto (incluyendo los planes de trabajo, informes de supervisión y cualquier otra información específica del proyecto) de cada proyecto. Activistas comunitarios: Preparar informes sobre el proceso de identificación en el ámbito del pueblo y enviar copias al comité comarcal de desarrollo y al asistente de desarrollo comunitario, Recoger y enviar informes sobre la comunidad y sobre personas concretas dentro de ella, y Enviar informes sobre todo el adiestramiento efectuado en la comunidad. Comités comarcales de desarrollo: Hacer llegar a la comunidad las actualizaciones de los proyectos de la comarca en reuniones municipales, Informar a la comunidad y al ADC sobre los recursos y cómo se utilizan en cada proyecto, Remitir un informe anual al ADC sobre los principales ejecutantes de los proyectos comunitarios. Ayuntamientos y municipalidades: Actas escritas de reuniones municipales y ejecutivas para la toma de decisiones de gestión y para su uso por los equipos provinciales, regionales y nacionales. Ámbito provincial y regional: Asistente de desarrollo comunitario: Remite a la oficina regional un sumario mensual de los informes de progreso del proyecto, Informa sobre las funciones y la eficiencia de los activistas comunitarios, comités de proyecto y comités comarcales de desarrollo, Remite un resumen del adiestramiento impartido a los activistas o dirigido por ellos. Remite un informe a la oficina regional sobre los principales contribuyentes a los proyectos comunitarios. Oficial de desarrollo comunitario (coordinador regional): Remite sumarios mensuales de los informes regionales de progreso a la oficina nacional. Oficina nacional: Coordinador nacional: Remite informes semestrales de progreso nacional al comité directivo, ministerio y donantes, Prepara actualizaciones de las actividades del proyecto y de los resultados y envía copias a cada región, que a su vez difunden estos informes a las provincias y comarcas. Envía informes FFOR (fuerzas, flaquezas, oportunidades, retos) dos veces al año sobre los puntos fuertes y débiles del diseño del proyecto al ministerio y los donantes, mencionando tanto las buenas experiencias en la implementación como las malas. Puede incluirlo como parte del informe semestral. Compila y difunde las averiguaciones de los seguimientos y estudios cualitativos cada vez que se efectúen. 8. Apéndices: Los apéndices están ahora integrados en los módulos. Pulse abajo en el que le interese. Ilustraciones: Si encuentra estas ilustraciones útiles, por favor, háganos saber cómo las usa. Más dibujos esquemáticos como estos en: Ilustraciones del ciclo de fortalecimiento comunitario.Ilustraciones de generación de ingresos, Ilustraciones de desastres, Ilustraciones de supervisión e informes, Ilustraciones extra. Arriba Introducción 1. Principios 2. Supervisión 3. Evaluación 4. Información 5. Participación 6. Ámbitos 7. Informes Apéndices Pie de página Navegación: Página principal el «índice» o «inicio» de este sitio Introducción si nos visita por primera vez Módulos de adiestramiento Propósito del MPFC porqué existe este sitio Palabras clave notas sobre el vocabulario utilizado Demanda de subvenciones cómo redactar una solicitud de subvención Mapa del sitio menú de documentos de adiestramiento Ver también: Ilustraciones de generación de riqueza, Ilustraciones del ciclo de fortalecimiento comunitario, Ilustraciones de desastres, Ilustraciones de supervisión e informes e Ilustraciones extra. Tres manuales para cooperantes Manual para activistas Manual para la generación de riqueza Manual de supervisión Si copia cualquier parte de este sitio en otro sitio web, por favor, ponga un enlace a él: www.scn.org/mpfc/. Pie de página: Se autoriza la copia de parte o todo el documento, a condición de que se cite la fuente Este sitio se hospeda en la Red Comunitaria de Seattle (Seattle Community Network, SCN), por medio de la Sociedad de Desarrollo Comunitario (Community Development Society, CDS) Si tiene interés en las técnicas de fortalecimiento (potenciación) de las comunidades deprimidas, por favor escríbanos. Académicos, activistas, pedagogos, profesionales, cooperantes, gerentes, administradores, planificadores, investigadores, estudiantes, e instructores, nos interesan sus opiniones y nos gustaría fomentar debates y diálogos. Por favor, diríjanse a: Mª Lourdes Sada (Traductora) Actualización: 5 de julio de 2003 --» «--