基于hadoop生态圈的数据仓库实践――OLAP与数据可视化(五)
五、Hue、Zeppelin比较 上一节简单介绍了Hue这种Hadoop生态圈的数据可视化组件,本节讨论另一种类似的产品——Zeppelin。首先介绍一下Zeppelin,然后说明其安装的详细步骤,之后演示如何在Zeppelin中添加mysql翻译器,最后从功能、架构、使用场景几方面将Hue和Zeppelin做一个比较。 1. Zeppelin简介...
View ArticleRMAN快速恢复数据库(DBA再也不担心记不住指令了)
10g会使用RMAN备份恢复一般是DBA的工作,对技术要求较高,且对oracle的组织结构有较深的理解才可以进行操作,而且由于数据库故障不易发生,大部分DBA也不会记住命令,需要的手查一下,各种文件丢失的脚本又都不一样,例如 控制文件丢失恢复指令:restore controlfile from autobackup; redolog 丢失的情况:alter database clear...
View ArticleMongoDB分布式设计-主从复制,副本集
1.前言 为应对互联网业务的快速增加,用户访问在某段时间的快速增加,系统的高可用,可扩展,容错性被放在了越来越重要的位置。随着技术的发展,业界给出了很多解决方案。 下面为大家介绍下MongoDB的主从复制,副本集在windows 操作系统的部署。 2.主从复制 顾名思义,数据库主从库,一定为主库和从库。随着持久层压力增加,读写分离的技术已经得到广泛应用。mongoDB...
View Article数据库性能优化
影响性能的因素: 1.数据库设计 2查询 3硬件(c up,内存,io, 处理器速度跟不上,内存容量不足,I/O吞吐量小,形成瓶颈效应) 4事务管理 5数据分布 6网络 7操作系统 优化方式: l 设计合理的数据表结构:...
View ArticleAndroid中SQLiteDatabase操作
Android中SQLiteDatabase操作【附源码】 像我们做的很多应用程序及网站一样,基本都是对数据库进行增删改查来实现相应的功能。那么Android开发也一样,不过由于在移动客户端应用,所以不会像sql...
View Article图解SQL子查询实例
1 创建示例表先创建示例表;--------------------------- Create Customers table-------------------------CREATE TABLE Customers( cust_id char(10) NOT NULL , cust_name char(50) NOT NULL , cust_address char(50) NULL ,...
View Article海量数据存储之Key-Value存储简介
Key-value存储简介具备高可靠性及可扩展性的海量数据存储对互联网公司来说是一个巨大的挑战,传统的数据库往往很难满足该需求,并且很多时候对于特定的系统绝大部分的检索都是基于主键的的查询,在这种情况下使用关系型数据库将使得效率低下,并且扩展也将成为未来很大的难题。在这样的情况下,使用Key-value存储将会是一个很好的选择。 它被广泛应用于缓存,搜索引擎等等领域。...
View ArticleThelittleredisbook中文版
\thispagestyle{empty} \changepage{}{}{}{-0.5cm}{}{2cm}{}{}{} \ \clearpage \changepage{}{}{}{0.5cm}{}{-2cm}{}{}{} 关于此书 许可证 《The Little Redis Book》是经由Attribution-NonCommercial 3.0 Unported...
View ArticleSuperMap iDesktop 达梦数据库型的数据源创建
SuperMap iDesktop 达梦数据库型的数据源创建 本文主要介绍如何如何创建达梦数据库型的数据源,目前我们的iDesktop产品支持达梦数据库的版本为7.1.4和7.1.5,我们就以64位的达梦数据库7.1.5版本和64位的iDesktop7.1.2版本为示例。 1. 安装数据库:达梦数据库的安装过程很简单,按安装向导流程化的安装即可。如图一至图三。...
View Article[YARN] NodeManager因为ContainerMetric导致OOM
现象描述 之前hadoop2.7.1的集群,经常运行一段时间后会触发OOM,导致上面的map需要重跑,能想到的一种方案是调整GC参数,利用GC回收器对内存进行回收,另外一种情况则感觉代码可能处理有问题。 关键日志: 2016-07-05 09:35:40,907 WARN org.apache.hadoop.ipc.Client: Unexpected error reading responses...
View ArticleMerkle Trees
30 Aug 2016 Merkle Treeis a data structure where every non-leaf node contains the hash of the labels of its child nodes, and the leaves have their own values hashed. Because of this characteristic,...
View ArticleMongoDB schema design: There Is Always A Schema
MongoDB Schema Design When MongoDB was introduced a few years ago, one of the important features touted was the ability to be “schemaless” What does this mean for your documents? MongoDB schema design...
View ArticleExtending sparklyr to Compute Cost for K-means on YARN Cluster with Spark ML...
Machine and statistical learning wizards are becoming more eager to perform analysis with Spark ML library if this is only possible. It’s trendy, posh, spicy and gives the feeling of doing state of the...
View Article缓存工厂之 Redis 缓存
(点击 上方蓝字 ,可快速关注我们) 来源:神牛步行3 链接:cnblogs.com/wangrudong003/p/5785116.html#undefined 正式分享今天的文章吧: 搭建Redis服务端,并用客户端连接 封装缓存父类,定义Get,Set等常用方法 定义RedisCache缓存类,执行Redis的Get,Set方法 构造出缓存工厂调用方法 下面一步一个脚印的来分享:...
View ArticleThe cat-and-mouse story of implementing anti-spam for Mail.Ru Group’s email...
Hey guys! In this article, I’d like to tell you a story of implementing the anti-spam system for Mail.Ru Group’s email service and share our experience of using the Tarantool database within this...
View ArticleDigging Deep Into Cassandra Thrift Buffer Behavior
Everyone who works in tech has had to debug a problem. Hopefully it is as simple as looking into a log file, but many times it is not. Sometimes the problem goes away and sometimes it only looks like...
View ArticleVisa Interview Experience |Set 11
I recently had the opportunity to interview with Visa Inc. Round 1: Online Coding Test: Platform:HackerRank Questions: There were 4 coding questions to be solved in 90 minutes. Question 1: Given ‘n’...
View ArticleSave the whale: Docker rightfully shuns standardization
The Open Container Project wants to standardize Docker the old-fashioned way: by committee. The pushback from Docker delivers a compelling counterpoint. You can be forgiven for thinking Docker cares...
View Article【最全 干货 实例】 缓存手册(Memcached、redis、RabbitMQ)
本章内容: Memcached 简介、安装、使用 python 操作 Memcached 天生支持集群 redis 简介、安装、使用、实例 Python 操作 Redis String、Hash、List、Set、Sort Set 操作 管道 发布订阅 RabbitMQ 简介、安装、使用 使用 API 操作 RabbitMQ 消息不丢失 发布订阅 关键字发送 模糊匹配 一、Memcached...
View ArticleThe Next Generation of Apache Hadoop
Apache Hadoop turned ten this year. To celebrate, Karthik and I gave a talk at USENIX ATC '16 about open problems to solve in Hadoop's second decade. This was an opportunity to revisit our academic...
View Article