基于Hadoop生态圈的数据仓库实践――进阶技术(十二)
十二、间接数据源本节讨论如何处理间接数据源。间接数据源与维度表具有不同的粒度,因此不能直接装载进数据仓库。在这里通过修改进阶技术(八)——“多路径和参差不齐的层次”里的促销源数据说明怎样处理间接数据源。CAMPAIGN SESSION,MONTH,YEAR2016 First Campaign,1,20162016 First Campaign,2,20162016 First...
View Article基于Hadoop生态圈的数据仓库实践――进阶技术(十三)
十三、无事实的事实表本节讨论一种技术,用来处理源数据中没有度量的需求。例如,产品源数据不包含产品数量信息,如果系统需要得到产品的数量,很显然不能简单地从数据仓库中直接得到。这时就要用到无事实的事实表技术。使用此技术可以通过持续跟踪产品的发布来计算产品的数量。可以创建一个只有产品(计什么数)和日期(什么时候计数)维度代理键的事实表。之所以叫做无事实的事实表是因为表本身并没有度量。1....
View Article数据库知识总结
表(Table)和视图(View)的区别和联系? 在SQL中,视图是基于SQL语句的结果集的可视化的表。视图包含行和列,就像一个真实的表。视图中的字段就是来自一个或多个数据库中的真实的表中的字段。我们可以向视图添加SQL函数、WHERE以及JOIN语句,我们也可以提交数据,就像这些来自于某个单一的表。 区别: 1. 视图是已经编译好的SQL语句,而表不是; 2. 视图没有实际的物理记录,而表有;...
View Articlegodatabase/sql源码分析(四)sql.Stmt数据结构
#sql.Stmt是sql包暴露给程序调用者的可见实体,一般通过db.Open函数获得DB实例后的下一步就是调用func (db *DB) Prepare 方法的的Stmt#其内部通过 css []connStmt 来绑定相关的连接和驱动层driver.Stmt#其内部不是引用driverConn,而是引用一个css []connStmt#sql包中有两个方式能够创建Stmt实例,一个是DB...
View ArticleSQL学习笔记
创建名为CUSTOMERS数据表:CREATE TABLE CUSTOMERS( ID INT NOT NULL, NAME VARCHAR (20) NOT NULL, AGE INT NOT NULL, ADDRESS CHAR (25) , SALARY DECIMAL (18, 2), PRIMARY KEY (ID));约束NOT NULL 约束:保证列中数据不能有 NULL 值...
View ArticleWhere Matters: Data Locality with Hyperconverged
How Much IO Is Remote? One of the core elements of HCI is that VMs are spread across multiple hosts for redundancy. Oneresult is that every VM disk write goes to at least two hosts. With data locality,...
View ArticleDell DBA Days Prep: Cardinality Estimator Trace Flags and Links
This comes up during Office Hours once a week Which pretty much gives it a 100% hit rate. I’m writing this mostly to have something to reference when people ask. Trace flags If you restore a database...
View ArticleDell DBA Days Prep: An Introduction to Query Memory
Microsoft has been quietly making some amazing improvements for performance tuners in SQL Server 2012, 2014, and 2016. This week, we’re going to introduce you to just how awesome they are. (They being...
View ArticleLayer Docker Deep Dive
Juju is all about modeling your application. That means that an application can be in a docker container, use a configuration management utility on top of a traditional machine, or is a single binary...
View ArticleUsing Couchbase Server in a GoLang Web Application #NoSQL #Couchbase
Not too long ago I wrote an article regarding how to create a RESTful API using the Go programming language , but in it I only used mock data rather than an actual database. What happens if we want to...
View Article初识 Redis
在我们的生活中,QQ、微信等社交产品变得越来越重要,它们集成了越来越多的功能,比如服务号就是其中一个重要的功能,我们可以通过它接收对应的服务消息,QQ、微信也可以通过官方的服务号向每一个用户推送广告、新闻等信息。如图所示:...
View ArticleGit 项目推荐 | C++ 开发的 Redis 客户端
xRedis Redis C++ client, support the data slice storage, support the connection pool xRedis 是一个C++开发的redis客户端,是对hiredis的C++封装,提供易用的redis命令操作接口. 功能与特点: 支持数据多节点分布存储,可自定义分片规则; 支持同时连接到每个分片的主从节点,支持主从读写分离;...
View ArticleBI and SQL Analytics with Apache Impala (Incubating) in CDH 5.8: 3x Faster on...
Released with CDH 5.8, Impala 2.6 brings solid performance improvements, particularly for clusters secured by Kerberos running BI workloads on Apache Hadoop. Just a few months back, we showed you how...
View ArticleAmazon EMR 5.0.0 Major App Updates, UI Improvements, Better Debugging, and Mo...
TheAmazon EMR team has been cranking out new releases at a fast and furious pace! Here’s a quick recap of this year’s launches: EMR 4.7.0 Updates to Apache Tez, Apache Phoenix, Presto, HBase, and...
View ArticleMongoDB和HDFS转存Redis
我们在河图上面提供的接口需要由原来的第一版升级为第二版。 第一版接口采用的是如下图所示的方案: 由上图所知,我们的第一版API接口设计,当前只对请求的query做了Cache,也就是之前有请求的数据能够在Redis中命中,快速响应,而对于未命中的query,需要查询恶意IP数据库(MongoDB),ElasticSearch,然后计算出结果Score,并返回给调用者,最后再对查询结果做Cache。...
View Article浅谈 Redis 超时(一)
其实redis运维过程中,最大的就是三个难题,只要解决这三个问题,redis就可以说几乎没有什么问题了,业务就可以放心使用了,运维redis的人也就可以喝喝茶干嘛的了。 But,要实现并做好这三点不是随意说说那么简单的: 1.集群化部署和管理web; 2.监控和报警; 3.延迟排查分析...
View ArticleRedis安全小结
=Start= 缘由: 近年来,随着Redis的流行,越来越多的安全研究人员注意到了Redis的安全问题,并通过Redis发起攻击。虽然我不做那方面,但是了解一下和Redis相关的安全攻击手段也是很有必要的。 正文: 和Redis相关的安全问题: 远程未授权访问...
View ArticleMy Summer at Hortonworks Embedding Views in the Apache Ambari UI
User Interface and User Experience are some of the most important aspects of developing a product. No matter how many amazing features something has, a user must be able to access them in order to...
View Article【数据库-持续更新】Redis入门
PS:最近公司业务需要使用redis做部分数据的缓存,特此学习一下。 概述 Redis是一个开源,先进的key-value存储,并用于构建高性能,可扩展的Web应用程序的完美解决方案。 Redis从它的许多竞争继承来的三个主要特点: Redis数据库完全在内存中,使用磁盘仅用于持久性。 性能极高 Redis能读的速度是110000次/s,写的速度是81000次/s 。...
View ArticleLet's build a URL Shortener with Node, MongoDB and Hapi.js
Have you ever wonder how URL shorteners like bit.ly or goo.gl work? Well, we're going to actually build a simple shortener so you can learn how it's done and get accustomed to technologies like...
View Article