Martínez, R., Martínez, A. y Rodríguez, M. (2019). Sistematización teórica sobre la Identificación Temática desde los Estudios Métricos de la Información. Revista Publicando, 6 (20), 12-23.
Theoretical Systematization on the Thematic Identification from the Metric Information Studies
Sistematización Teórica sobre la Identificación Temática desde los Estudios Métricos de la Información
Recibido: 17/12/2018
Aceptado: 2 /3 /2019
Lic. Riselis Martínez Prince
Email: [email protected] ORCID: https://orcid.org/0000-0001-8531-5527
Dra. C. Ailín Martínez Rodríguez
Email: [email protected] ORCID: https://orcid.org/0000-0003-1969-9176
Lic. Madai Rodríguez Reyes
Email: [email protected] ORCID: https://orcid.org/0000-0003-4928-5812
Facultad de Comunicación - Universidad de La Habana
Resumen: Resumen: Los Estudios Métricos de la Información (EMI) permiten la evaluación de la ciencia, en aras de conocer la estructura, particularidades y desarrollo de un campo de conocimiento determinado. El análisis temático de las investigaciones científicas es un tema que gana espacio en los EMI pues dicho análisis permite identificar las tendencias investigativas de cualquier área del saber, a través de los tópicos consolidados, los emergentes, así como los frentes de investigación que caracterizan a las áreas analizadas. De modo que, la identificación temática se convierte en una técnica importante para este tipo de análisis. Por tanto, la presente contribución sistematiza sobre elementos teóricos en relación con la Identificación Temática desde los Estudios Métricos de la Información.
Palabras clave: Estudios Métricos de la Información, análisis temático, identificación temática.
Abstract: The Metrics of Information Studies (EMI) allow the evaluation of science, with the objective of know the structure, particularities and development of a determined field of knowledge. The thematic analysis of scientific research is a topic that gains space in the EMI, because this analysis allows to identify the research trends of any area of knowledge, through the consolidated topics, the emerging as well as the research fronts that characterize the areas analyzed. So, the thematic identification becomes an important technique for this type of analysis. Therefore, the present contribution systematizes on theoretical elements in relation to the Thematic Identification from the Metric Information Studies.
Keywords: Metric Information Studies, thematic analysis, thematic identification.
ESTUDIOS MÉTRICOS DE LA INFORMACIÓN
Los Estudios Métricos de la Información (EMI) permiten la evaluación de la ciencia en aras de conocer la estructura, particularidades y desarrollo de un campo de conocimiento determinado. Esto es posible mediante métodos y modelos matemáticos los cuales posibilitan la cuantificación de resultados a partir de la recogida y análisis de datos. En las Ciencias Sociales, se conoce como la matematización del conocimiento científico, el cual tiene su antecedente fundamental en el positivismo de Auguste Comte.
La cuantificación de la ciencia permite conocer puntos claves en el desarrollo científico de la misma. Facilita información para la toma de decisiones tanto en centros de investigación, universidades, revistas científicas como en otros espacios que necesiten conocer el estado y progreso de su praxis investigativa.
Variados han sido los conceptos y las definiciones empleadas en los estudios métricos de la información; ello corrobora el crecimiento de investigaciones sobre el tema y la diversidad de enfoques y puntos de vista relativos a la imbricación que se establece entre el objeto y tema de estudio de estas especialidades métricas con el de las disciplinas científicas que le dieron origen. (Gorbea, 1994, p. 25)
Por su parte, Lascurain (2015) plantea que los EMI:
Constituyen un campo científico que agrupa diversas disciplinas dirigidas a la cuantificación de los distintos aspectos vinculados a la información y a sus usuarios, y que tienen como objetivos el análisis y evaluación de los procesos relacionados con la producción, difusión y consumo de información y de las regularidades de los flujos de información científica. (p.250)
Según Setién y Gorbea (2004), los EMI permiten “determinar tendencias en la producción de documentos sobre una rama dada del conocimiento, mediante la identificación de autores, entidades, lugares, temáticas más productivas en distintos períodos; tipología de los documentos, nexos informativos” (p. 28).
Es importante señalar que, los EMI no solo evalúan la producción de documentos, como se muestra en la definición antes vista, también se enfocan en otras esferas, lo que hace que presente diferentes objetos de estudios, es por ello por lo que dichos estudios abarcan determinadas disciplinas métricas, que se diferencian además en sus objetivos e indicadores a evaluar. De ahí que, Gorbea (2013) aluda a que los EMI:
Constituyen un campo multi, inter y transdisciplinario en el cual interactúan diversos métodos y modelos matemáticos y estadísticos con las disciplinas que integran el denominado Sistema de Conocimientos Bibliológico Informativo (Bibliotecología, Bibliografología, Archivología y Ciencia de la Información). A esta interacción se le atribuye el surgimiento de un conjunto de especialidades métricas (Bibliotecometría, Bibliometría, Archivometría e Informetría), las cuales han alcanzado cierta notoriedad, unas más que otras, en la literatura especializada en los últimos veinte años. (p.16)
Sin embargo, es interesante y real lo que expresa Chaviano (2004) sobre las diferentes disciplinas métricas:
A pesar de la existencia de nuevas disciplinas instrumentales, surgidas con el propio desarrollo científico-tecnológico de los últimos años, como la webmetría y la patentometría, con un sinnúmero de indicadores, la mayoría de los estudios toman como punto de referencia, la bibliometría, la cienciometría y la informetría como disciplinas instrumentales de la bibliotecología, la cienciología y la ciencia de la información. (p.2)
La Bibliometría es la disciplina encargada de evaluar a través de métodos matemáticos todo lo relacionado con las Bibliotecas, sus procesos y la comunicación escrita, es decir, su objeto de estudio se centra en libros, artículos, autores y usuarios.
Carrizo (2000) refiere que la Bibliometría es el “conjunto de conocimientos metodológicos para la aplicación de técnicas cuantitativas, destinadas al estudio de los procesos de producción, comunicación y uso de la información científica, con el objeto de contribuir al análisis y evaluación de la Ciencia y la investigación” (p.9).
Por otra parte, la Cienciometría es la aplicación de métodos matemáticos o cuantitativos, pero en este caso al desarrollo de la ciencia, y se enfoca en disciplinas, campos, materias.
Spinak (1996) considera que “la Cienciometría usa técnicas matemáticas y el análisis estadístico para investigar las características de la investigación científica. Puede considerarse como un instrumento de la sociología de la ciencia” (p. 49). Dicha noción conceptual coincide, en gran medida, con lo planteado por Sutcliffe (1992) al decir que la Cienciometría:
Estudia los aspectos cuantitativos de la ciencia como disciplina o actividad económica. Forma parte de la sociología de la ciencia y se aplica en la elaboración de las políticas científicas; comprende estudios cuantitativos de las actividades científicas, incluidas las publicaciones y de esa forma se superpone a la bibliometría. (p. 35)
Por último, la Informetría solo se diferencia de la Bibliometría en que analiza, además de los elementos de la información registrada, la no registrada, es decir, información oral.
Con respecto a lo anterior, es posible advertir que:
La informetría por sí misma abarca el estudio de los aspectos cuantitativos de la información, independientemente de la forma en que aparezca registrada y del modo en que se genere. Considera además los aspectos cuantitativos de la comunicación informal o hablada, del mismo modo que los de la registrada, y tiene en cuenta las necesidades y usos de la información para cualquier actividad, sea o no de índole intelectual. Por otra parte, puede incorporar y utilizar diversos medios en la medición de la información, que están fuera de los límites de la bibliometría y de la Cienciometría. (Sutcliffe, 1992, p.5)
Como se puede apreciar, existen debates y reflexiones sobre estas disciplinas. En los casos de Martínez (2006) y Piedra (2015), las propias autoras coinciden en que, de forma general, los métodos bibliométricos y cienciométricos resultan similares, en ocasiones perfectamente idénticos, lo que resume, además, el alto nivel de solapamiento entre ellas, no obstante, cada una tiene su propio objeto de estudio. Sea cual sea la perspectiva tomada por cada autor, no deja de ser realidad que son disciplinas instrumentales de los Estudios Métricos de la Información que sirven para medir la actividad científica en cualquier campo de investigación.
De igual forma, en los últimos años, se han desarrollado nuevas disciplinas instrumentales en los EMI que abren el alcance de dicho campo y muestran su evolución a la par de las nuevas tecnologías de la información y las comunicaciones, entre ellas se encuentran la patentometría, webmetría, cibermetría y las métricas alternativas (altmetrics).
No obstante, la aplicación de métodos matemáticos y estadísticos, a partir de las disciplinas instrumentales mencionadas en párrafos anteriores, requiere de importantes herramientas para evaluar los trabajos científicos.
INDICADORES BIBLIOMÉTRICOS
En la actualidad, la producción científica es considerada como la materialización de la actividad académica y científica de un investigador, institución o país. Su evaluación en los disímiles campos de conocimiento revela innumerables datos y resultados necesarios para el avance y perfeccionamiento de la investigación científica que se desarrolla. Para efectuar dicha medición, los EMI cuentan con instrumentos de evaluación, entre ellos, los llamados indicadores bibliométricos.
Los indicadores bibliométricos provienen del análisis de los resultados de la investigación, materializados en las publicaciones científicas y las patentes. Pueden ser aplicados en los diferentes niveles de agregación (macro, meso y micro) (Vinkler, 1988; Solís, Milanés y Navarrete, 2010). Su manejo, además, se ha generalizado por los países de alto desarrollo científico por lo que su aplicación genera éxitos en la gestión de la política científica-tecnológica y se comprueba en el aumento de contribuciones sobre indicadores de Ciencia y Tecnología.
El empleo de estos indicadores trae consigo concluyentes ventajas y limitaciones en su utilización para la evaluación de la investigación. Como ventajas se pueden mencionar algunas: los indicadores bibliométricos son un método objetivo y verificable, sus resultados son reproducibles y se pueden utilizar para analizar un gran volumen de datos; por otro lado, se encuentran algunas limitaciones que se traducen en: sólo pueden ser utilizados en ámbitos donde los resultados de investigación den lugar a publicaciones científicas, adicionalmente, su validez es de máxima relevancia en el estudio de las áreas básicas y menos en las tecnológicas o aplicadas.
Spinak (1998) presta atención a que los indicadores bibliométricos proporcionan información sobre los resultados del proceso investigativo, su volumen, evolución, visibilidad y estructura y se pueden clasificar en indicadores de actividad (cuantitativos) y de impacto (cualitativos); aunque también se clasifican de acuerdo a la investigación que se vaya a realizar.
Al examinar al respecto, Velasco, Eiros, Pinilla y San Román (2012) detallan que los indicadores bibliométricos permiten conocer el estado real de la ciencia, de ahí su inmensa tipología; dicha idea se afirma a partir de las tantas investigaciones en relación con ellos (King, 1987; Sancho, 1990; Licea de Arenas, 1993; López, 2000; Schneider, 2006; Castillo y Carretón, 2010; Mingers y Leydesdorff, 2015, entre otros).
Si bien existen múltiples variantes para evaluar o describir un área de conocimiento determinada desde la Bibliometría, el presente estudio hace mención de la propuesta dada por Callon, Courtial y Penan (1995), la cual contiene los indicadores relacionales de segunda generación los cuales abordan el análisis de contenido de los documentos. A continuación, se presenta la clasificación dada por los autores mencionados anteriormente:
Los indicadores univariados y bivariados evalúan elementos que no establecen relación entre los diferentes documentos como por ejemplo los de producción ya sea por autor, institución, que evalúa la cantidad de publicaciones de documentos de cierta índole, entre otros.
Por otro lado, los indicadores relacionales tienen el objetivo de establecer relaciones entre los diferentes elementos de las publicaciones, los de primera generación sin abordar el contenido de los documentos mientras que el de segunda generación si está dirigido al análisis del contenido de los documentos.
De esta manera, el análisis temático de las investigaciones científicas es un tema que gana espacio en los EMI pues dicho análisis permite identificar las tendencias investigativas de cualquier área del saber, a través de los tópicos consolidados, los emergentes, así como los frentes de investigación que caracterizan a las áreas analizadas.
IDENTIFICACIÓN TEMÁTICA
Para identificar los tópicos que se investigan dentro de cada área científica es necesario realizar un análisis del contenido de las publicaciones y los documentos científicos que tributen al mismo.
De acuerdo con López (2002):
Se puede considerar el análisis de contenido como una forma particular de análisis de documentos. Con esta técnica no es el estilo del texto lo que se pretende analizar, sino las ideas expresadas en él, siendo el significado de las palabras, temas o frases lo que intenta cuantificarse. (p. 173)
Fernández (2002), por su parte, coincide en gran medida con lo planteado anteriormente cuando expresa que el propósito básico del análisis de contenido es:
La identificación de determinados elementos componentes de los documentos escritos: letras, sílabas, lexemas, fonemas, sintagmas, palabras, frases, párrafos, títulos, caracteres, reactivos, secciones, temas, asuntos, medidas de espacio, medidas de tiempo, símbolos, etc. y su clasificación bajo la forma de variables y categorías para la explicación de fenómenos sociales bajo investigación. (p.37)
Sin lugar a duda, ambos autores coinciden en el análisis de contenido léxico-semántico del texto y su cuantificación. Por lo cual, es posible asumir que el análisis de contenido se enfoca en examinar a profundidad los términos que se abordan en el texto y su significado.
Ahora bien, Andréu (2000) detalla una conceptualización más completa de lo que es el análisis de contenido:
Técnica de interpretación de textos, ya sean escritos, grabados, pintados, filmados..., u otra forma diferente donde puedan existir toda clase de registros de datos, trascripción de entrevistas, discursos, protocolos de observación, documentos, videos, etc., el denominador común de todos estos materiales es su capacidad para albergar un contenido que leído e interpretado adecuadamente nos abre las puertas al conocimiento de diversos aspectos y fenómenos de la vida social. (p.2)
En este sentido, dicho autor no solo particulariza sobre documentos textuales sino cualquier tipología de documento que contenga algún tipo de contenido. Hecha la observación anterior, también es posible advertir que el análisis de contenido trata la identificación de datos e información que no se pueda apreciar a simple vista dentro de cualquier tipo de documento.
El análisis de contenido en cada texto se realiza mediante la lectura de estos, aunque en el caso de documentos como imágenes sería más bien una lectura visual. La lectura detallada le permite al lector o al investigador conocer de qué se trata el texto o los diferentes temas que se abordan en él.
Siguiendo los planteamientos del propio autor, este refiere tres tipos de análisis que se derivan del análisis de contenido: el análisis temático, el análisis semántico y el análisis de redes.
Debido al objetivo que persigue la presente investigación, es interesante abordar con detenimiento el análisis temático y, debido a su estrecha relación con este, el análisis de redes.
El análisis temático puede derivar en análisis de redes, por ejemplo, a través del estudio de co-ocurrencias y mapas semánticos. Este procedimiento le permite al investigador estudiar la simultaneidad de aparición de los términos y en qué medida forman conjuntos significativos; y estudiar redes de relaciones a partir de matrices semánticas. (Escalante, 2009, p. 66)
En cuanto el análisis de contenido temático, Andréu (2000) esboza que este “sólo considera la presencia de términos o conceptos, con independencia de las relaciones surgidas entre ellos. Las técnicas más utilizadas son las listas de frecuencias, la identificación y clasificación temática, y la búsqueda de palabras en contexto” (p. 20).
Otra propuesta interesante es la de Braun y Clarke (2006) que puntualizan lo siguiente:
El análisis temático es un método que permite identificar, organizar, analizar en detalle y proporcionar patrones o temas a partir de una cuidadosa lectura y relectura de la información recogida y así inferir resultados que propicien la adecuada comprensión/interpretación del fenómeno en estudio. (p.6)
Según se ha citado, dichos autores ofrecen en su conceptualización cuatro acciones importantes: identificar, organizar, analizar e inferir.
Cada una de esas acciones se define por sí misma en cuanto a su significado, pues se trata de identificar o detectar los temas dentro de cada uno de los documentos que se analizan, organizar los datos recogidos, analizarlos, y dar conclusiones a partir del análisis ya realizado.
Por otro lado, los propios autores también ofrecen dos formas de realizar el análisis temático, la primera teniendo en cuenta todos los datos o términos (temáticas) dentro del conjunto de documentos que se quiere analizar y la segunda tomando un tema específico a tratar o investigar dentro de ese conjunto.
Una de las técnicas más utilizada dentro del análisis de contenido temático, y de la cual los autores anteriores hacen alusión, es la identificación temática (IT) como primer paso para realizar dicho análisis.
La IT puede ser utilizada para diversos propósitos, entre ellos, analizar: perfil temático (Liberatore y Visca, 2014]); área temática (Padilla et al., 2017); perfiles científicos (Miguel, Moya y Herrero, 2006); frentes de investigación (Hung, Arencibia y Araújo, 2008; Visca, Liberatore y Di Doménico, 2014; Fajardo et al., 2017); tendencias temáticas (Herrera, Licea de Arenas y Gómez, 2013); líneas de investigación (Gálvez, 2016), caracterización temática (Liberatore y Herrero, 2013) y perfil académico de investigación (Hoyos, 2011).
Marquetti (2014) sugiere que:
La identificación temática es un método que permite identificar en una colección, con la ayuda de técnicas bibliométricas, aquellos documentos que traten temas similares, y las relaciones entre ellos a partir del recuento de las ocurrencias conjuntas de los términos que los describen, para posteriormente poder crear representaciones conceptuales que sirvan de base para el análisis. (p.18)
Vallejo (2005) plantea que existen distintos sistemas para analizar los contenidos temáticos o materias:
El primer sistema se refiere a inferir, a través del título del texto, términos o temáticas que describan de qué se trata el documento, aunque también se puede ir un poco más allá y realizar una lectura detallada del texto para identificar los temas o el tema que aborda, pues muchas veces suele suceder que los títulos de los textos no son lo suficientemente representativos pues no recogen en sí la(s) temática(s) que se tratan en el mismo.
Padilla et al. (2017) expresan que la forma de análisis vista anteriormente se denomina “clasificación manual” y plantea que también se puede realizar de una segunda forma que es la “clasificación medida por computadora”, sobre todo cuando se tiene grandes volúmenes de documentos a analizar, pues hacerlo manual se vuelve más difícil.
El segundo método o sistema trata sobre los descriptores, los cuales se van a considerar como las palabras clave utilizadas sobre todo en los trabajos científicos. Son aquellas palabras o términos que usualmente los propios autores de la investigación utilizan para denotar los temas que se abordan en su investigación.
El último aspecto o sistema para el análisis del contenido temático es la utilización de sistemas de clasificación. Este se utiliza usualmente en los documentos que no vienen con su clasificación predeterminada por los autores, o las ya mencionadas palabras clave, entonces se utilizan herramientas como Tesauros para darles clasificación. Es sobre todo muy útil cuando se clasifica un grupo de documentos con temáticas similares. Este podría ser el método más complicado pues requiere, además de la lectura del documento, que el investigador tenga conocimiento y dominio del tema a tratar.
Si bien es poca la literatura teórica sobre la IT en sí, el método es muy utilizado en estudios bibliométricos a través de la aplicación de indicadores de contenido o también llamados indicadores de contenido temático, los cuales persiguen el mismo objetivo de la IT. Este método, a pesar de ser utilizado para el análisis de contenido en la investigación cualitativa, también es muy utilizada en los Estudios Métricos de la Información.
La aplicación directa de la bibliometría en los estudios de la ciencia para examinar su estructura cognoscitiva y social y contribuir a su historia intelectual resulta particularmente visible en los últimos 45 años. En esta producción científica es posible distinguir los trabajos que se centran en las tendencias emergentes, y en los cambios abruptos en la evolución del conocimiento científico (Vega, Fernández y Moya, 2011, párr.6).
Igualmente, los EMI y sus técnicas bibliométricas permiten que se lleve a cabo la IT pues, según la clasificación de indicadores brindada por Callon, Courtial y Penan (1995), existen diferentes indicadores bibliométricos que permiten establecer relaciones entre conjuntos de documentos, como son los indicadores de co-citas, co-autoría y co-ocurrencia de palabras.
En el caso de la co-ocurrencia de palabras, conocida también como análisis de co-palabras y análisis de co-términos, “fue desarrollada en colaboración entre el Centro de Sociología de la Innovación de la Escuela Superior de Miness de París y el Centro Nacional de Investigación Científica de Francia durante los años 1980” (Ronda, G., Batista, Domínguez y Ronda, R., 2013, p.112).
Constituye una de las técnicas bibliométricas reconocida y utilizada en los EMI. Es esencial para el análisis del contenido en los diferentes textos y para establecer relaciones entre ellos. Se basa en la aparición conjunta de dos o más palabras que representen el contenido de un texto, ya sean resultante de las palabras claves brindadas por el autor o por la identificación de estas a través del título, resumen o corpus del texto.
Roque, Moreira, Borbinha y Zulueta (2015) explican que la co-ocurrencia “tiene como objetivo identificar y seguir la evolución de publicaciones que son de interés para los científicos, basado en relaciones establecidas entre pares de palabras” (p.3), mientras que, por otro lado, He (1999) soslaya que la misma “usa patrones de co-ocurrencia de pares de ítems (palabras o sintagmas nominales) en el cuerpo del texto para identificar las relaciones entre las ideas dentro de las áreas temáticas presentes en estos textos” (p.134).
Guerrero, La Rosa, Bayona, y López (2015) adiciona que “cuanto mayor sea la frecuencia de aparición conjunta de las palabras, mayor será su vinculación conceptual” (p.22), afirmándose que mientras mayor co-ocurrencia de palabras haya en un conjunto de documentos a analizar, mayor es la relación que existe entre ellos respecto a su contenido temático.
Miguel, Caprile y Jorquera (2008) expresan que existe una diferencia entre la palabra y el término explicando que el co-término es una variante del análisis de co-palabras pues el término representa conceptos especializados en dominios de conocimiento y las palabras indican un vocabulario más general.
De modo general, para realizar un análisis de co-ocurrencia primeramente es necesario identificar los términos o temáticas que definen el contenido de cada documento, tomándose en cuenta cualquiera de las formas planteadas por Vallejo (2005). Además:
el objetivo del análisis de las palabras asociadas es la creación de mapas temáticos donde se identifiquen unos focos o centros de interés, así como las relaciones que existen entre ellos. Estos focos son asimilables a las áreas temáticas o conceptuales que componen un área y por ello, el análisis de las palabras asociadas se realiza a partir de un conjunto de documentos representativos de la producción de un área. (De la Rosa, Martínez, González y Velasco, 2005, p. 7)
En la bibliometría, son muy utilizados los mapas de ciencia o bibliométricos para la representación de información. Torres (2010) plantea que la Visualización de la Información a partir de mapas permite “identificar frentes de investigación emergentes en numerosas especialidades, descubrir preocupaciones de los investigadores, o rastrear cambios de moda en la investigación” (p.134).
Los mapas bibliométricos o mapas de la ciencia son diagramas que representan las palabras, ideas, tareas, u otros conceptos ligados y dispuestos radialmente alrededor de una palabra clave o de una idea central. Se utilizan para la generación, visualización, estructura y clasificación taxonómica de las ideas, así como ayuda interna para el estudio, organización, solución de problemas y toma de decisiones en una organización (Guzmán y Trujillo, 2013, p.97).
Por consiguiente, constituyen una herramienta de importancia para el estudio de determinada área de conocimiento a partir de los elementos que la caractericen y la relación entre ellos; sobre todo para aquellos investigadores que se interesen por analizar determinado campo de investigación a partir de identificar patrones de uso de la literatura científica que se publique o consuma, o el incremento o no determinados temas de investigación.
Gálvez (2016) propone una metodología cuantitativa para la construcción de los mapas bibliométricos a partir del análisis de co-palabras y de la visualización de las relaciones entre ellas, compuesta por cuatro etapas:
El mapeo temático es una herramienta cada vez más importante para la clasificación de documentos en grupos y subgrupos, así como para el análisis de otro tipo de patrones. La materia prima para los mapas bibliométricos han sido las palabras clave, las citas y los términos técnicos que aparecen en los títulos y los resúmenes de los registros de las bases de datos bibliográficas (Herrera, I. y Herrera, M., 2015, p.12).
De los mapas, como producto final, se tiene una red que muestra las relaciones entre los diferentes elementos de análisis, dicha red facilita el entendimiento del espacio o contexto que se desee evaluar, sobre todo en la delimitación de áreas de conocimiento científico y la identificación de frentes de investigación (mapas de densidad y de clústeres).
REFLEXIONES FINALES
Los aspectos teóricos propuestos anteriormente permiten concluir que:
REFERENCIAS BIBLIOGRÁFICAS
Andréu, J. (2000). Las técnicas de Análisis de Contenido: Una revisión actualizada. Recuperado de http://public.centrodeestudiosandaluces.es/pdfs/S200103.pdf
Braun, V., y Clarke, V. (2006). Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77-101. Recuperado de http://eprints.uwe.ac.uk/11735/2/thematic_analysis_revised
Callon, M., Courtial, J., y Penan, H. (1995). Cienciometría. Gijón: Ediciones TREA.
Carrizo, G. (2000). Hacia un concepto de Bibliometría. Revista de Investigación Iberoamericana en Ciencia de la Información y Documentación, 1(2). Recuperado de http://webs.ucm.es/info/multidoc/publicaciones/journal/pdf/bibliometria-esp.pdf
Castillo, A. y Carretón, M. (2010). Investigación en Comunicación. Estudio bibliométrico de las Revistas de Comunicación en España. Comunicación y Sociedad, 13(2), 289-327.
Chaviano, O. G. (2004). Algunas consideraciones teórico-conceptuales sobre las disciplinas métricas. Acimed, 12(5). Recuperado de http://eprints.rclis.org/5904/1/scielo5.pdf
De la Rosa, F. R., Martínez, R., González, L., y Velasco, F. (2005). Análisis de Redes Sociales mediante Diagramas Estratégicos y Diagramas Estructurales. REDES- Revista hispana para el análisis de redes sociales, 8(2), 1-33. Recuperado de https://arxiv.org/ftp/arxiv/papers/1501/1501.05138.pdf
Escalante, E. (2009). Perspectivas en el análisis cualitativo. Theoria, 18(2), 55-67. Recuperado de http://www.ubiobio.cl/miweb/webfile/media/194/v/v18-2/05.pdf
Fajardo, D., Lopez, M., Duran, L., Dumontier, M., Lara, M., Ochoa, H. y Castano, V. (2017). The emergence and evolution of the research fronts in HIV/AIDS research. PLoS ONE, 12(5). Recuperado de http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0178293
Fernández, F. (2002). El análisis de contenido como ayuda metodológica para la investigación. Revista de Ciencias Sociales (Cr), 2(96), 35-53. Recuperado de http://www.redalyc.org/pdf/153/15309604.pdf
Gálvez, C. (2016). Visualización de las principales líneas de investigación en salud pública: un análisis basado en mapas bibliométricos aplicados a la Revista Española de Salud Pública (2006-2015). Revista Española de Salud Pública, 90, 1-10. Recuperado de http://www.redalyc.org/articulo.oa?id=17043728048
Gorbea, S. (1994). Principios teóricos y metodológicos de los estudios métricos de la información. Investigación Bibliotecológica, 8(17), 23-32. Recuperado de http://rev-ib.unam.mx/ib/index.php/ib/article/view/3826/3379
Gorbea, S. (2013). Tendencias transdisciplinarias en los estudios métricos de la información y su relación con la gestión de la información y del conocimiento. Perspectivas em Gestão y Conhecimento, 3(1), 13-27. Recuperado de http://www.periodicos.ufpb.br/index.php/pgc/article/view/14175
Guerrero, D., la Rosa, G., Bayona, A. L., y López, P. (2015). Análisis de la investigación de las competencias profesionales enfocadas a la tecnología e ingeniería a través del análisis de dominios científicos. Revista Tecnológica ESPOL – RTE, 28(4), 17-27. Recuperado de http://www.rte.espol.edu.ec/index.php/tecnologica/article/view/393
Guzmán, M. y Trujillo, J. (2013). Los mapas bibliométricos o mapas de la ciencia: una herramienta útil para desarrollar estudios métricos de información. Biblioteca Universitaria, 16(2), 95-108. Recuperado de http://revistas.unam.mx/index.php/rbu/article/view/43851
He, Q. (1999). Knowledge Discovery Through Co-Word Analysis. Library Trends, 48(1), 133-159. Recuperado de https://www.ideals.illinois.edu/bitstream/handle/2142/8267/librarytrendsv48i1i_opt.pdf?sequence=1
Herrera, I., Licea de Arenas, J. y Gómez, J. (2013). Publicaciones periódicas en Biblioteconomía, Bibliotecología, Ciencias de la Información y Documentación en México: Tendencias temáticas, productividad y redes de coautoría: 1956-2006. Revista Interamericana de Bibliotecología, 36(2), 97-108. Recuperado de https://aprendeenlinea.udea.edu.co/revistas/index.php/RIB/article/view/17636
Herrera, I., y Herrera, M. (2015). Visualización y análisis de mapas temáticos de la actividad científica mexicana sobre cáncer (1977-2012). Revista de Aplicación Científica y Técnica, 1(1), 11-20. Recuperado de https://www.researchgate.net/publication/282119498
Hoyos, S. (2011). Perfil académico de investigación de los trabajos de grado de la licenciatura en Lenguas Modernas de la Pontificia Universidad Javeriana: 2001-2009. (Tesis de Licenciatura). Pontificia Universidad Javeriana, Bogotá. Recuperado de https://repository.javeriana.edu.co/bitstream/handle/10554/5908/tesis712.pdf?sequence=1
Hung, B., Arencibia, R., y Araújo, J. (2008). Identificación de frentes de investigación sobre esteroides en la producción científica cubana procesada por Scopus 1996-2006 Acimed, 17(3). Recuperado de http://scielo.sld.cu/scielo.php?script=sci_arttextypid=S1024-94352008000300004
King, J. (1987). A review of bibliometric and other science indicators and their role in research evaluation. Journal of Information Science, 13.
Lascurain, M. (2015). Los estudios métricos de información en Brasil y en España a partir de los artículos recogidos en la WoS. Em Questão, 21(3), 250-270. Recuperado de http://seer.ufrgs.br/index.php/EmQuestao/article/viewFile/58681/36052
Liberatore, G., y Herrero, V. (2013). Caracterización temática de la investigación en Ciencia de la Información en Brasil en el período 2000-2009. TransInformação, 25(3), 225-235. Recuperado de http://www.scielo.br/pdf/tinf/v25n3/05.pdf
Liberatore, G., y Visca, J. (2014). Análisis de la revista Perspectivas en Psicología desde el perfil de la autoría, el contenido y la visibilidad de los artículos publicados en el período 2004-2011. Perspectivas en Psicología: Revista de Psicología y Ciencias Afines, 11(1), 6-14. Recuperado de http://www.redalyc.org/pdf/4835/483547665002.pdf
Licea de Arenas, J. (1993). Indicadores de la actividad científica. En Martínez, A. (Comp.). Selección de lecturas de Estudios Métricos de la Información. La Habana: Félix Varela.
López, F. (2002). El análisis de contenido como método de investigación. XXI Revista de Educación, 4, 167-179. Recuperado de http://rabida.uhu.es/dspace/bitstream/handle/10272/1912/b15150434.pdf
López, J. (2000). La evaluación de la ciencia en el contexto de las ciencias de la documentación. Investigación Bibliotecológica, 13(27).
Marquetti, L. (2014). Temáticas dominantes en Ciencias de la Información: estudio bibliométrico de las publicaciones seriadas más relevantes durante el período 2008-2013. (Tesis de Licenciatura). Universidad de La Habana, La Habana, Cuba.
Martínez, A. (2006). Indicadores cibermétricos: ¿Nuevas propuestas para medir la información en el entorno digital? Acimed, 14(4). Recuperado de http://eprints.rclis.org/9233/1/http___bvs.sld.cu_revistas_aci_vol14_4_06_aci03406.htm.pdf
Miguel, S., Caprile, L., y Jorquera-Vidal, I. (2008). Análisis de co-términos y de redes sociales para la generación de mapas temáticos. El profesional de la información, 17(6), 637-646. Recuperado de http://www.memoria.fahce.unlp.edu.ar/art_revistas/pr.6387/pr.6387.pdf
Miguel, S., Moya, F., y Herrero, V. (2006). Aproximación metodológica para la identificación del perfil y patrones de colaboración de dominios científicos universitarios. Revista Española de Documentación Científica, 29(1), 36-55. Recuperado de http://www.memoria.fahce.unlp.edu.ar/art_revistas/pr.6386/pr.6386.pdf
Mingers, J. y Leydesdorf, L. (2015). A Review of Theory and Practice in Scientometrics European Journal of Operational Research, (early view). doi:10.1016/j.ejor.2015.04.002
Padilla, P., Coloma, J., Breuilh, J., Mena, L., Barrios, D., Weinacker, D. y Cancino, R. (2017). Identificación de áreas temáticas científicas mediante el análisis de co-palabras. El caso de la Universidad de La Frontera, Chile. Investigación Bibliotecológica, 31(72). Recuperado de http://dx.doi.org/10.22201/iibi.0187358xp.2017.72.57824
Piedra, Y. (2015). Campo científico de la Comunicación: Análisis de dominio (Tesis doctoral). Universidad de Granada, Universidad de La Habana, Granada.
Ronda, G., Batista, C., Dominguez, J., y Ronda, R. (2013). Cambios en la estructura intelectual de la investigación sobre temas de dirección en Cuba: un análisis de co-palabras de Folletos Gerenciales 1997-2009. Bibliotecas. Anales de Investigación, (8-9), 110-120. Recuperado de http://eprints.rclis.org/25288/1/08-Art%C3%ADculo%2007.pdf
Roque, S., Moreira, C., Borbinha, J., y Zulueta, M. (2015). Thematic Identification of “Little Science”: Trends in Portuguese ISyLS Literature by Controlled Vocabulary and Co-Word Analysis. Recuperado de https://arxiv.org/ftp/arxiv/papers/1501/1501.05138.pdf
Sancho, R. (1990). Indicadores bilbiométricos utilizados en la evaluación de la Ciencia y la Tecnología. Revista Española de Documentación Científica, 13(3-4), 842-865.
Schneider, J. W. (2006). Concept symbols revisited: Naming clusters by parsing and filtering of noun phrases from citation contexts of concept symbols. Scientometrics, 68(3), 573-593.
Setién E. y Gorbea S. (2004). Conceptos métricos en las disciplinas biblioteco-informativas. En A. Martínez (Ed.), Selección de lecturas de Estudios Métricos de la Información (pp.25-35). La Habana, Cuba: Editorial Félix Varela.
Solís, F., Milanés, Y., y Navarrete, J. (2010). Evaluación de la investigación. El caso de Andalucía. Revista Fuentes, 10, 83-100. Recuperado el 16 de junio de 2016, de http://www.revistafuentes.es/gestor/apartados_revista/pdf/monografico/aeokysnv.pdf
Spinak, E. (1996). Diccionario Enciclopédico de Bibliometría, Cienciometría e Informetría. Caracas: UNESCO.
Spinak, E. (1998). Indicadores Cienciométricos. Ciência da Informação, 2.
Sutcliffe, J. (1992). An introduction to informetrics. Information Processing & Management, 28(1), 1-3.
Torres, D. (2010). La Visualización de la Información en el entorno de la Ciencia de la Información. (Tesis doctoral). Universidad de La Habana, La Habana, Cuba.
Vallejo, M. (2005). Estudio longitudinal de la producción española de tesis doctorales en Educación Matemática (1975-2002). (Tesis doctoral). Universidad de Granada, Granada. Recuperado de https://www.researchgate.net/publication/46589303_Estudio_longitudinal_de_la_produccion_espanola_de_tesis_doctorales_en_educacion_matematica_1975-2002
Vega, R., Fernández, J., y Moya, F. (2011). El enfoque bibliométrico para la identificación de paradigmas en dominios de conocimiento. Acimed, 22(3). Recuperado de http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352011000300006
Velasco, B., Eiros, J., Pinilla, J. y San Román, J. (2012). La utilización de los indicadores bibliométricos para evaluar la actividad investigadora. Aula Abierta, 40(2), 75-84. Recuperado el 5 de julio de 2016, de http://www.dialnet.unirioja.es/descarga/articulo/3920967
Vinkler, P. (1988). An attempt of surveying and classifying bibliometric indicators for scientometric purposes. Scientometrics, 13(5-6).
Visca, J., Liberatore, G., y Di Doménico, M. (diciembre de 2014). Frentes de investigación de cuatro revistas de psicología de universidades públicas de la Argentina. En M. A. Abraham (Presidencia). La Psicología como promotora de derechos, hacia la interdisciplinariedad de las prácticas en los escenarios actuales. Ponencia llevada a cabo en el VI Congreso Marplatense de Psicología, Buenos Aires, Argentina. Recuperado de https://www.researchgate.net/publication/307858451_frentes_de_investigacion_de_cuatro_revistas_de_psicologia_de_universidades_publicas_de_la_argentina