Archivo de la etiqueta: Big Data

Desarrollo de flujos de trabajo para científicos de datos

development-workflows-1

Development Workflows for Data Scientists. O’Reilly Media, 2017

Texto completo

GitHub se asoció con O’Reilly Media para examinar cómo los equipos de análisis de datos de varias organizaciones están mejorando la forma en que definen, aplican y automatizan los flujos de trabajo basados en servicios de datos.

  • Definición de la estructura y las funciones del equipo
  • Preguntas interesantes
  • Examen de trabajos previos
  • Recolección, exploración y modelado de datos
  • Prueba, documentación e implementación de códigosde producción
  • Comunicación de los resultados

Este informe esclarecedor muestra cómo, a pesar de que el ritmo de cambio es rápido y el deseo por el conocimiento y la visión de los datos es cada vez mayor, las disciplinas duales de ingeniería de software y la ciencia de los datos están a la altura de la tarea.

 

Big Data: Una revolución que transformará nuestra forma de vivir, trabajar y pensar

 

big-data_custom-3d8fb20dcdb9e19ba1875bce868b46b1d319da84-s6-c101

 

Mayer-Schnberger, V. and K. Cukier [e-Book]  A summary of the book Big Data: A revolution that will transform how we live, work and think, Kimhartman, 2013.

Texto completo

 

En la era de los grandes datos estamos empezando a cosechar algunos beneficios y posibilidades derivados de la gestión, utilización, procesamiento y análisis de esta ingente cantidad de datos, tales como: el seguimiento de los signos vitales para prever infecciones mortales, la predicción de incendios, conocer el mejor momento para comprar un billete de avión, viendo la inflación en tiempo real y el control de los medios de comunicación social con el fin de identificar las tendencias. Pero hay un lado oscuro de los datos grandes. ¿Serán las máquinas, y no las personas, las que toman las decisiones? ¿Cómo se regula un algoritmo? ¿Qué pasará con la privacidad? ¿Serán castigados los individuos por actos que todavía aún no  cometieron? Dos de los más respetados expertos en datos del mundo revelan la realidad de un gran mundo de datos y delinean pasos claros y realizables que equiparán al lector con las herramientas necesarias para esta próxima fase de la evolución humana

Big Data: tecnologías disruptivas para un cambio en el juego

bigdataanalytics-sathi

 

Sathi, A. (2012). [e-Book]  Big Data Analytics: Disruptive Technologies for Changing the Game, IBM, 2012.

Texto completo

 

Este libro recopila varios casos y experiencias de uso de los Big Data, y a partir de ellas hace algunas consideraciones sobre la arquitectura y el surgimiento de nuevos espacios de observación (sociales, geoespaciales, etc.), además de cubrir algunos de los problemas más delicados relacionados con la privacidad de los datos. El espacio de observación de una organización disponible (datos que pueden obtener en sus manos dentro de la ley y la política) está creciendo más rápido que su capacidad de darle sentido. A medida que las organizaciones luchan por mantenerse al día, se ven obligadas a reconsiderar qué tipo de infraestructura será necesaria para aprovechar Big Data

Valoración e impacto de los datos de investigación: curación y recursos compartidos

 

synthesis1-211x300

Beagrie, N. and Houghton J.W. (2014) The Value and Impact of Data Sharing and Curation: A synthesis of three recent studies of UK research data centres, Jisc. PDF (24 pages)

Texto completo

La GDI es la base de la investigacion actual y del futuro, pero también de los mandatos de financiación, repositorios de acceso abierto, la reputación de los investigadores y los rankings institucionales. Sin embargo, la sostenibilidad financiera de una adecuada gestión de datos requiere de una importante inversión. Ya que los costos que implica la implementación y mantenimiento de repositorios de datos son mucho más cuantiosos que los necesarios para repositorios institucionals tradicionales. Aun así, la institución debe iniciar una política de datos, ya que los beneficios de un servicio de gestión de datos son mucho mayores en términos de investigación e impacto que los altos costos asociados a su implementación como demuestra esta investigación. Además de ser un servicio ineludible a medio plazo si se quiere seguir siendo competitivo

Este informe pretende resumir y reflexionar sobre los resultados de una serie de estudios realizados por Neil Beagrie de Charles Beagrie y John Houghton de la Universidad de Victoria, en torno al valor y el impacto de tres centros de datos de investigación: the Economic and Social Data Service (ESDS), the Archaeology Data Service (ADS), and the British Atmospheric Data Centre (BADC). Se proporciona un resumen de las principales conclusiones de la investigación y reflexionan sobre: los métodos que se pueden utilizar para recopilar datos; los métodos analíticos que se pueden utilizar para explorar de valor, impactos, costos y beneficios; y las lecciones aprendidas y recomendaciones derivadas de la serie de estudios en su conjunto.

Los estudios de los centros de datos combinan los enfoques cuantitativos y cualitativos con el fin de cuantificar el valor en términos económicos y otros impactos y beneficios no económicos. Los tres estudios muestran un patrón similar de resultados, con el intercambio de datos a través de los centros de datos que tienen un gran impacto medible en la eficiencia de la investigación y el retorno de la inversión sobre los propios datos y servicios. Estos hallazgos son importantes para los proveedores de fondos, tanto para el caso económico para la inversión en la infraestructura de datos de curación, como para el intercambio de datos y la propia  investigación, para asegurar la sostenibilidad de este tipo de centros de datos de investigación.

El análisis económico cuantitativo indica que:
· El valor para los usuarios excede la inversión hecha en el intercambio de datos y la preservación a través de los centros en los tres casos – con los beneficios de 2,2 a 2,7 veces los costes.
· Aumentos muy significativos en la eficiencia del trabajo por parte de los usuarios como consecuencia del uso de los centros y servicios de datos – con aumento de la eficiencia de entre 2 a 20 veces sobre los costos.
· Al facilitar el uso adicional, los centros de datos aumentan significativamente los rendimientos de la inversión en la creación / recogida de los datos alojados – con incrementos en los rendimientos de entre 2 a 12 veces sobre los costos.
El análisis cualitativo indica que:
· Por su parte, los usuarios académicos informan que los beneficios de la implementación de centros de datos son muy o extremadamente importantes para su investigación, pues en opinión de entre el 53% y el 61% de los encuestados la no disponibilidad de un servicio de datos hubiera tenido un impacto grave o muy grave sobre su trabajo.
· Para los depositantes, que tiene los datos conservados a largo plazo y garantizada su difusión a la comunidad académica, estos servicio son vistos como los aspectos más beneficiosos de depositar de datos en este tipo de centros. Además el depósito de datos incrementa las posibilidades de ser citados.

Un objetivo importante de este estudios fue el de contribuir al desarrollo de métodos de evaluación de impacto que pueden proporcionar estimaciones del valor y los beneficios de la infraestructura de datos de investigación y las inversiones. Esta síntesis se refleja las lecciones aprendidas y proporciona una serie de recomendaciones que podrían ayudar a desarrollar futuros estudios de este tipo. Las áreas clave para la investigación adicional incluyen: extender tales estudio a nuevos centros o a centros de menores niveles de agregación.

 

 

 

 

Datos abiertos para todos

open_data_for_all_title_page_2016

 

 

Roest, A. and A. R. Mashariki (2015). [e-Book] Open Data For All. New York, City of New York.

Texto completo

NYC Open Data: Open Data for All New Yorkers

https://opendata.cityofnewyork.us/

 Los datos son más que números, fundamentalmente es información que puede ayudar a  resolver problemas cotidianos de las personas. La promesa de un gobierno de datos abiertos, transparentes  y accesibles contribuye a la mejora las capacidades y oportunidades de todos los ciudadanos. Open data puede cambiar el punto de vista sobre nuestro entorno, trasformando problemas anteriormente considerados impenetrables en problemas solucionables. 

 

Los datos abiertos no sólo son de interés para los científicos, ya que a través de ese tipo de iniciativas podemos tener un mejor conocimiento de nuestro entorno, para saber más y aprovechar mejor todas las oportunidades que ofrece el lugar en que vivimos, trabajamos, compramos, o nos divertimos; pudiendo de esta manera responder a cuestiones tales como: ¿Dónde puedo encontrar Wi-Fi pública en mi vecindario? ¿Qué clase de árbol está delante de mi oficina? ¿Cuál es la mejor zona para abrir un negocio sobre vinos?, ¿Cuál es la calidad del aire de mi zona de ocio? o ¿Dónde puedo encontrar rutas para pasear en bicicleta?

Entre los beneficios frecuentemente citados de los datos abiertos está su potencial para equipar a las personas con el conocimiento con el objetivo de mejorar sus vidas. para crear oportunidades y resolver problemas;  de este modo, los ciudadanos pueden utilizar estos datos para tomar decisiones más y mejor informadas, involucrarse en sus comunidades o convertir sus sueños en realidad. Por ejemplo, si una persona está interesada en abrir un negocio necesita información sobre cuantos establecimientos similares hay en la zona, licencias de negocios, locales en alquiler, precios de los alquileres en una zona, flujos ciudadanos, etc. De manera que esta información que anteriormente no estaba disponible o sólo era accesible para quienes pagaran por ella, ahora este a disposición de todos sin ninguna excepción.

 

open_data_for_all_timeline

Desarrollo histórico de la política de datos abiertos de la ciudad de New York

Una cuestión clave para reducir la brecha de acceso es crear una “cultura de datos”, para ello la ciudad de New York  ha creado un taller piloto sobre habilidades de análisis de datos y a puesto a disposición de los ciudadanos una guía de datos para iniciados

Informes publicados por el equipo Open Data de la Ciudad de Nueva York, incluyendo el plan anual de cumplimiento de la agencia publicado cada año.

 

 

 

Aplicaciones del Big Data en el mundo real

 

3658b1a352341a3-261x361

 

Soto, V., J. M. Luna, et al. [e-Book]  Big Data on Real-World Applications  InTech, 2016

Texto completo

A medida que avanza la tecnología se van generando cada día grandes y valiosos volúmenes de datos. Su gestión se se ha convertido en una prioridad para las empresas y las entidades de investigación, que requieren de nuevas tecnologías para la gestión adecuada y análisis para que sirvan de apoyo a la toma de decisiones y a la generación de servicios de datos con la posibilidad de ser reutilizados por parte de las instituciones y los ciudadanos.

 

La implementación de una plataforma de datos inteligente: ¿Cómo sobreviven las organizaciones en la era de los datos inteligentes?

pic-book

 

 

Lin, Y. and W. Xiao (2017). [e-Book] Implementing a Smart Data Platform: How Enterprises Survive in the Era of Smart Data. London, O’Really, 2017

Texto completo

 

Con el auge de los Big Data, del Internet de las cosas (IO), y el desarrollo de aplicaciones de inteligencia artificial (AI), entramos en una nueva era de datos inteligentes. Por desgracia, muchas empresas e instituciones no están preparados para ello. Por lo tanto esas empresas son deficientes en la gestión de datos, en la medida que carecen de sistemas de gestión de datos que impiden tomar decisiones de peso basadas en la explotación de los mismos. Algunos simplemente se quedan en la ciencia de los datos. El resultado final es que muchas empresas no disponen de una plataforma avanzada para la creación de aplicaciones basadas en IA-IO.

Este informe examinó cómo las plataformas de gestión de datos inteligentes  permiten a las empresas aumentar su capacidad de gestión y explotación de datos, que involucra a los propios datos, los productos de la plataforma, las aplicaciones de datos, y el servicios de consultoría, componentes que completan y refuerzan sus plataformas de datos actuales.