Chris Fregly on the PANCAKE STACK Workshop and Data Pipelines
Chris Fregly's Advanced Apache Spark PANCAKE STACK workshop , Advanced Spark and TensorFlow Meetup , videos , and presentations span a wide range of data science and engineering components one might...
View Article让你的程序性能获得百倍的提升―Redis入门
应用程序处理的数据越来越多，对并发访问的要求越来越大，程序的性能却并没有提升。发布日期越近，我们的心情就越想热锅上的蚂蚁，那叫一个急啊！不停的做性能剖析，做性能调优，却百思不得其解。幸好，我们及时遇到了Redis，让性能瞬间提升了百倍，真的有一种山穷水尽疑无路，柳暗花明又一村的感觉！今天我们就简单介绍一下Redis的一些用法，给大家的性能调优提供一种新的思路。 Redis 简介...
View ArticleClik here to view.
使用 Redis 统计在线用户人数
在构建应用的时候， 我们经常需要对用户的一举一动进行记录， 而其中一个比较重要的操作， 就是对在线的用户进行记录。 本文将介绍四种使用 Redis 对在线用户进行记录的方案， 这些方案虽然都可以对在线用户的数量进行统计， 但每个方案都有一些自己特有的操作， 并且各个方案的性能特征以及资源消耗也各有不同。 方案 1 ：使用有序集合 每当一个用户上线时， 我们就执行 ZADD 命令，...
View ArticleClik here to view.
Hadoop 面试，有它就够了
作者 ：HarperKoo 本文由 简书HarperKoo 授权发布，版权所有归作者，转载请联系作者！ Map Reduce & YARN 简介 Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System...
View Article如何用 redis 造一把分布式锁
锁 wiki :In computer science, a lock or mutex (from mutual exclusion) is a synchronization mechanism for enforcing limits on access to a resource in an environment where there are many threads of...
View ArticleClik here to view.
吴瑞诚：斗鱼实时计算平台的演进
我是吴瑞诚，来自斗鱼，很高兴能有机会和大家分享斗鱼TV实时计算平台的演进。 做一个简单的自我介绍。我之前在淘宝干过三年，主要做HBase，目前在斗鱼TV做大数据开发。 这是斗鱼非常典型的直播间，55开，游戏打得好，牛吹得好，在斗鱼比较好，大家看到密密麻麻的字，就是弹幕，视频直播最火的场景，弹幕。很火的时候，上面会有礼物，用户给主播赠送火箭，鲨鱼骑着火箭的礼物飘过，这个火箭价值还挺高。...
View ArticleClik here to view.
MySQL 引擎特性 基于InnoDB的物理复制实现
最近有幸前去美国参加Percona Live 2016会议并分享了我们最近在mysql复制上所做的工作，也就是基于InnoDB的物理复制。会后很多小伙伴私信我说 分享的PPT 太内核了，不太容易理解。因此本文主要针对分享的内容进行展开描述，希望能对大家有所帮助。 背景知识...
View Article分布式Unique ID的生成方法一览
分布式的Unique ID的用途如此广泛，从业务对象Id到日志的TraceId，本文总结了林林总总的各种生成算法。 1. 发号器 我接触的最早的Unique ID，就是Oracle的自增ID。 特点是准连续的自增数字，为什么说是准连续？因为性能考虑，每个Client一次会领20个ID回去慢慢用，用完了再来拿。另一个Client过来，拿的就是另外20个ID了。...
View ArticleClik here to view.
Redis学习笔记~conf自主集群模式
回到目录 Redis自主提供了集群模式，当然也只是比较简单的读写分离模式，或者叫主从模式，它在各个redis服务端自己做数据同步机制，当然就是将主服务端的信息同步到各个slave服务器上，在客户端集成的驱动中，需要指定主节点和从节点的信息，服务端根据各自的conf的文件来实现的，下面我主要说一下两大客户端驱动是实现集群的方式方法。 服务端配置...
View ArticleClik here to view.
如何编写弹性的MongoDB应用
我一直致力于寻找更好的答案。首先，我制定了《服务器发现与监控规范（Server Discovery and Monitoring Spec）》――现在已应用于我们所有的驱动上，此规范极大地提升了驱动在应对网络错误和服务器故障转移时的稳健性，由于驱动程序的异常状况减少，类似Ian这样的抱怨也愈发罕见了。此外，由于所有驱动的表现应当是一致的，我们可以使用标准化的常规测试套件来执行检测。...
View ArticleRedis安装、配置及使用
简介 Redis 是一款 开源 & 高性能 的key-value数据库，可用于构建高性能，可扩展的Web应用程序。 主要特点 Redis的三个主要特点： Redis数据库完全在内存中，使用磁盘仅用于持久性。 Redis支持较为丰富的数据类型：支持字符串(String)、列表(List)，集合(Set)，有序集合(Sorted Sets)，散列数据类型(Hashes)...
View Articleperl与MongoDB入门 - 简单的添加和更新操作
MongoDB 是一个开源的NoSQL数据库。本文我们将介绍其入门知识：如何在MongoDB集合中添加文档，以及如何更新之。 添加元素 下面是最简单的一个例子：往集合里加两个元素。 examples/mongodb_insert_two_elements.pl use strict; use warnings; use 5.010; use MongoDB (); use Data::Dumper...
View ArticleClik here to view.
TokuDB Read Free Replication : not implemented in MariaDB!
I) Why using TokuDB? I have been playing with TokuDB since 2013. Althoughit's a really good storage engine, it's sometimes full of surprises. Initially I migrated one of my customer from InnoDB to...
View ArticleChris Travers: PostgreSQL vs Hadoop
So one of the folks I do work with is moving a large database from PostgreSQL to Hadoop. The reasons are sound -- volume and velocity are major issues for them, and PostgreSQL is not going away in...
View ArticleOlivia: an in-memory, distributed key-value store
Olivia Olivia is essentially a distributed hash table that I built to test out some weird ideas I've had about Go and distributed programming that I've had. Is it production ready? I'd definitely...
View ArticleClik here to view.
Features of Hadoop HDFS An Overview for beginners
1. Objective This tutorial explainsabout what and why of HDFS and its features. HDFS is the world’s most reliable storage-system, which can store large quantity of structured as well as unstructured...
View ArticleClik here to view.
Install a Local Instance of AWS DynamoDB
STEP 1:Press Command+Space and type Terminal and press enter/return key . STEP 2:Install Brew(If you don't already have it installed.) Run this command in the Terminal app. ruby -e "$(curl -fsSL...
View Articlemybatis的全面分页插件
根据下面分页的思想，很容易实现Mybitas的多租户设计。 使用Mybatis提供的拦截器。对分页的SQL语句通过封装处理，处理成不同的分页sql。 本例已经实现了对mysql和Oracle的分页功能。注意下面的引用包，不要引用错了。[java] view plain copy print?import java.sql.Connection;import...
View ArticleGitLearningNotes
Git Learning 1创建版本库版本库又名仓库，英文名repository，你可以简单理解成一个目录，这个目录里面的所有文件都可以被Git管理起来，每个文件的修改、删除，Git都能跟踪，以便任何时刻都可以追踪历史，或者在将来某个时刻可以“还原”。 git init : to set the current dirctory as one that can be managed by...
View Article