brew packages and cask packages
by robin Published September 30, 2016 Updated October 3, 2016 brew packages Basic Apps $ brew install bash-completion $ brew install maven $ brew install openssl $ brew install ssh-copy-id $ brew...
View ArticleRedis实战（三） 持久化机制
Redis是一个支持持久化的内存数据库，通过持久化机制把内存中的数据同步到硬盘文件来保证数据持久化。当Redis重启后通过把硬盘文件重新加载到内存，就能达到恢复数据的目的。 RDB RDB是Redis默认的持久化方式。按照一定的时间周期策略把内存的数据以快照的形式保存到硬盘的二进制文件。即Snapshot快照存储，对应产生的数据文件为dump.rdb，通过配置文件中的save参数来定义快照的周期。...
View ArticleClik here to view.
Redis内部数据结构详解(6)――skiplist
本文是《 Redis内部数据结构详解 》系列的第六篇。在本文中，我们围绕一个Redis的内部数据结构――skiplist展开讨论。 Redis里面使用skiplist是为了实现sorted set这种对外的数据结构。sorted set提供的操作非常丰富，可以满足非常多的应用场景。这也意味着，sorted...
View ArticleClik here to view.
Redis实战（四） 集群机制
下面介绍Redis的集群方案。 Replication（主从复制） Redis的replication机制允许slave从master那里通过网络传输拷贝到完整的数据备份，从而达到主从机制。为了实现主从复制，我们准备三个redis服务，依次命名为master，slave1，slave2。 配置主服务器 为了测试效果，我们先修改主服务器的配置文件redis.conf的端口信息 port 6300...
View ArticleClik here to view.
Centos下安装Mysql
mysql是比较常用的数据库日常开发中也是采用地比较多工欲善其事必先利其器本文特地来讲解下如何在centos其他linux发行版类似下安装mysql首先准备的材料mysql我这里采用的是64位的传送门">Mysql是比较常用的数据库，日常开发中也是采用地比较多。工欲善其事必先利其器，本文特地来讲解下如何在centos(其他linux发行版类似)下安装Mysql。首先准备的材料：Mysql,我这...
View ArticleClik here to view.
[iuud8]ios10之iMessageApp，Part2
Interactive Messages Interactive Messages(交互消息)，顾名思义，它允许用户对其进行交互性操作。 Message API Overview MSMessagesAppViewController：这个视图提供了消息扩展的用户界面(providing your extension's UI)。 它拥有两种表现形式： public enum...
View ArticleClik here to view.
Linux下一次数据仓库进行迁移记录
前言：数据库每天的数据不断增多，自动删除机制总体风险太大，想保留更多历史性的数据供查询，于是从小的hbase换到大的hbase上，势在必行。今天记录下这次数据仓库迁移。看下Agenda:彻底卸载mysql 安装MySQL MySQL数据库的初始化及相关配置存储数据目录修改客户端连接又来问题(中间过程) 小总结mysql">彻底卸载MySQLyum方式安装的MySQLyum remove...
View Article数据库之视图、索引
一、数据库视图视图是虚表，是从一个或几个基本表（或视图）中导出的表，在系统的数据字典中仅存放了视图的定义，不存放视图对应的数据。视图是原始数据库数据的一种变换，是查看表中数据的另外一种方式。可以将视图看成是一个移动的窗口，通过它可以看到感兴趣的数据。 视图是从一个或多个实际表中获得的，这些表的数据存放在数据库中。那些用于产生视图的表叫做该视图的基表。一个视图也可以从另一个视图中产生。1、视图的作用*...
View ArticleSecuring Hadoop Web Interfaces with Kerberos
By default HDFS, Yarn, MapReduce Hadoop web interfaces are not “Kerberized”. In IOP, access to Hadoop web interfaces is through Apache Knox. Apache Knox is a very powerful proxy optimized for Hadoop...
View ArticleClik here to view.
部署流水线搭建小记：Docker、Jenkins、Java和Couchbase
这篇文章讲述了如何用Jenkins和Docker来为一个需要和数据库交互的Java应用创建 部署流水线 （ deployment pipeline ）。 Jenkins支持创建流水线。它使用一种基于Groovy的流水线领域特定语言（ Pipeline DSL ）的简单脚。 而这些脚本，通常名字叫 Jenkinsfile...
View ArticleClik here to view.
老司机给hadoop学习新手的一些建议
上篇（ Hadoop 新手学习指导之入门需知）我们介绍了新手学习 hadoop 的入门注意事项。这篇来谈谈 hadoop 核心知识学习。 核心知识 学习 分为 和 ，并且还有 生态系统。这里只能慢慢介绍了。一口也吃不成胖子。 那么下面我们以 为例进行详细介绍： 的核心是 和 。 Mapreduce ： 是很多人都需要迈过去的槛，它比较难以理解，我们有时候即使写出了...
View ArticleClik here to view.
MongoDB指南/引言
引言 MongoDB是一种开源文档型数据库，它具有高性能，高可用性，自动扩展性 1. 文档数据库 MongoDB用一个文档来表示一条记录，文档的数据结构由键值对组成。MongoDB文档类似于JSON对象，字段值可能是文档，数组，或文档数组。 使用文档的优点： 文档中字段值的数据类型同大多数编程语言中的 原生数据类型 一致 。 嵌入式文档和数组减少了连接查询的需求 。 动态的文档结构支持多态性 。...
View ArticleClik here to view.
MongoDB集群解决方案-分片技术
MongoDB，NoSQL技术的实现，基于分布式文件存储的数据库，由C++语言编写。主要是解决海量数据的访问效率问题，为web应用提供可扩展的高性能数据库存储解决方案 MongoDB集群的实现方式： 1、Replica Set：也叫作副本集，简单来说就是集群中的服务器包含了多分数据，保证主节点挂掉了。备节点能够继续的提供服务，但是提供的前提就是数据必须要和主节点的一致，如下图：...
View ArticleClik here to view.
如何快速搭建数据服务
今天的主题还是与服务端有关。 上一篇服务端文章「面向中间件的开发模式」中，小说君提到接下来会介绍「服务化」以及「服务划分」。 但是，考虑到不少同学对服务没有一个具体的概念，我们今天先来聊聊如何搭建数据服务。 何谓数据服务？ 数据服务通常是一整套解决方案，包括： 一个或一组后端节点，向应用层提供数据访问的功能，其网络环境通常与客户端可以直连的节点物理隔离。...
View ArticleHadoop Weekly Issue #189
02 October 2016 Strata + Hadoop World was this week, so this issue is full of news and releases. Highlights include a new version of the ODPi runtime, a new R interface for Spark, and a new version of...
View ArticleClik here to view.
何时该用SQL，何时该用NoSQL ?
有些人做架构决策的时候纯粹是基于谁的声音大: @xeraa @lukaseder 不，我们最重要的架构决策是基于#tweets. 这是一个面向Twitter的体系结构。 ― 加里斯 维斯特恩 (@gareth) 2016年9月21日 然而对其他大多数人而言，决策并不是这么简单。例如：什么时候我们应该启用NoSQL存储系统来代替关系型数据库管理系统（RDBMS）？...
View Article[译] MongoDB 的好坏丑
对刚刚接触 MongoDB 的人来说, MongoDB就是一个NoSQL类型的文档数据库. 文档中包含的键值对，构成了MongoDB的数据基本单位. 不过可以肯定的是MongoDB的确是当前最流行的NoSQL数据库. 它已被广泛接受并且适合各种各样的场合 (尽管不是所有项目都使用它)....
View ArticleClik here to view.
Redis为什么用跳表而不用平衡树？
本文是《 Redis内部数据结构详解 》系列的第六篇。在本文中，我们围绕一个Redis的内部数据结构――skiplist展开讨论。（注：后台发送Redis可以获得全部Redis系列文章） Redis里面使用skiplist是为了实现sorted set这种对外的数据结构。sorted set提供的操作非常丰富，可以满足非常多的应用场景。这也意味着，sorted...
View ArticleClik here to view.
The history of Apache Hadoop’s Support for Amazon S3
Hadoop’s ability to work with Amazon S3 storage goes back to 2006 and the issue HADOOP-574, “FileSystem implementation for Amazon S3”. This filesystem client, “s3://” implemented an inode-style...
View Article