Clik here to view.
Redis无限全量复制问题分析与优化
线上有台机器内存接近了90%，总内存为24G，整个部署如下图： 现要将Redis-2迁移走，由于特殊原因此节点没有slave节点，需要添加一个slave节点，然后做failover操作。 通过对日志的观察，发现主从不停地做全量复制。 1.slave首次连接master做全量复制。 36207:S 23 Nov 21:39:43.086 * Connecting to MASTER...
View ArticleClik here to view.
ArangoDB Closes 2.2 Million Euro Investment Led by Target Partners
Funding to accelerate the company’s product development and international expansion Munich/Cologne (Germany), November 24th, 2016: ArangoDB GmbH (www.arangodb.com), the company behind one of the...
View ArticleClik here to view.
支付宝以外，蚂蚁金服还有OceanBase数据库
对于支付宝大家耳熟能详，用过淘宝网，一定会用过支付宝。以支付宝为主体，阿里孵化了蚂蚁金服业务。如果你认为蚂蚁金服只有金融衍生业务，就大错特错了，它还有OceanBase，自主研发的分布式关系型数据库。（参见： B轮融资100亿元 蚂蚁金服为什么那么值钱？ ） 分布式关系数据库，意外吗？...
View ArticleClik here to view.
Cassandra is not row level consistent
TL;DRCassandra is not row level consistent!!! We published ablog post about some surprising and unexpected behaviors while using Apache Cassandra/DataStax Enterprise some weeks back. Recently, we...
View ArticleClik here to view.
N24期第四周作业
1、复制/etc/skel目录为/home/tuser1，要求/home/tuser1及其内部文件的属组和其它用户均没有任何访问权限。 2、编辑/etc/group文件，添加组hadoop。 vim /etc/group，增加此行 3、手动编辑/etc/passwd文件新增一行，添加用户hadoop，其基本组ID为hadoop组的id号；其家目录为/home/hadoop。 vim...
View ArticleClik here to view.
Drill集群安装
1.环境 1.1jdk /opt/jdk1.7.0_79 1.2Drill版本 /opt/apache-drill-1.7.0 1.3zookeeper地址 SZB-L0032013:2181,SZB-L0032014:2181,SZB-L0032015:2181 1.3Drill集群服务器 10.20.25.199 SZB-L0032015 10.20.25.241 SZB-L0032016...
View Article架构师做什么？
记得我最早思考这个问题的时候还在国企，那会刚参加工作没多久。某天突然看到有人的职位是架构师，于是很好奇，作为一个架构师，他/她的日常工作是做什么？或者这么说，你要能够做些什么，才能成为一个架构师？ 然而，作为一个低端码农，对这个问题一直无解。而且还受到国企那些架构师的影响，一度以为架构师就是一群没能力做开发，只会满嘴空炮，开一个又一个浪费生命的会议，写一堆自己都不愿看第二遍的文档的复制粘贴机器。...
View ArticleClik here to view.
【WOT】Hortonworks高级技术成员Ted Yu：中国参与国际交流正在加速
【51CTO.com原创稿件】 2016年11月25-26日，WOT2016大数据峰会在北京粤财JW万豪酒店召开，50多位大数据领域一线专家、数据技术先行者齐聚现场，在围绕数据智能、大数据商业、区块链、实时计算、系统架构、NoSQL等前沿技术话题展开深度交流和沟通探讨的同时，分享大数据领域最新实践和最热门的行业应用。...
View ArticleClik here to view.
【WOT】HBase核心贡献者Ted Yu：中国参与国际交流正在加速
2016年11月25-26日，WOT2016大数据峰会在北京粤财JW万豪酒店召开，50多位大数据领域一线专家、数据技术先行者齐聚现场，在围绕数据智能、大数据商业、区块链、实时计算、系统架构、NoSQL等前沿技术话题展开深度交流和沟通探讨的同时，分享大数据领域最新实践和最热门的行业应用。...
View ArticleClik here to view.
The 5-Minute Interview: Christophe Willemsen, Senior Consultant at GraphAware
ByBryce Merkl Sasaki, Aspiring Graphista | November 25, 2016 For this week’s 5-Minute Interview, I chatted with Christophe Willemsen , Senior Neo4j Consultant at GraphAware in London. Christophe and I...
View ArticleClik here to view.
redis源码剖析--redis源码结构解析
找工作那会儿，看了黄建宏老师的《Redis设计与实现》，对redis的部分实现有了一个简明的认识。在面试过程中，redis确实成为了面试官考核我的一个亮点，恰好以后的工作又与redis有着千丝万缕的联系，于是就想趁着毕业前的这段时间把redis的源代码研究一下，为以后的工作打个良好的基础。 Redis简介 redis全称REmote DIctionary Server，是一个由Salvatore...
View ArticleClik here to view.
Clik here to view.
MapReduce Example: Reduce Side Join in Hadoop MapReduce
MapReduce Example: Reduce Side Join in Hadoop MapReduce Introduction: In this blog, I am going to explain you how a reduce side join is performed in Hadoop MapReduce using a MapReduce example. Here, I...
View ArticleOrchestrate to MongoDB
Orchestrate is closing doors. I used it as the store for mysnippets service. The service had a decent data access abstraction, it tests with maps, it was originally implemented with an RDBMS, and then...
View ArticleClik here to view.
First Impressions of Apache NiFi
My colleague Scott had been bugging me about NiFi for almost a year, and last week I had the privilege of attending an all day training session on Apache NiFi. NiFi (pronounced like wifi), is a...
View ArticleOozie调度报错――ORA-00918：未明确定义列
Oozie在执行sqoop的时候报错，同样的SQL在sqoop中可用，在oozie中不可用： Caused by: java.sql.SQLSyntaxErrorException: ORA-00918: 未明确定义列 at Oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:450) at...
View ArticleHigh Performance Read API on Kubernetes using Redis
Introduction This post is best read with some prior knowledge to Kubernetes. You should be familiar with concepts like pods, services, secrets and deployments. Also, I'm assuming you've been working...
View ArticleMark Needham: Kubernetes: Spinning up a Neo4j 3.1 Causal Cluster
A couple of weeks ago I wrote a blog post explaining how I’d created a Neo4j causal cluster using docker containers directly and for my next pet project I wanted to use Kubernetes as an orchestration...
View ArticleClik here to view.
Create a REST API on AWS Lambda using lambdasync
AWS Lambda is a pretty great place to put your APIs, you don't need to configure any servers, you pay only for what you use, and it automatically scales as your audience does. It can be a little tricky...
View ArticleDynamo和Cassandra海量存储基础
提到这两个系统，他们在核心思路上是非常类似的，但有一些细节性的东西又有所偏重，在分布式系统中也算是独树一帜了，很有代表性的一个系列，这些不一致的地方，最明显的地方就在于一致性上。可见，哪怕是从追求简单为上的工程化实现来说，各种不同的方式实现一致性也都有很大的不同，不过他们也有一些共性和一些独树一帜的概念，下面来做一下分别解说。 先说共性： W+R>N...
View Article