redis的hGetAll函数的性能问题，redis缓慢多是hgetall导致的当然其他的情况也有...
背景：如果redis缓慢多是hgetall导致的当然其他的情况也有... 在没关注这个函数之前，一直用的Memcache的数据存储方式，但是自从更换了redis之后，对于一个hash的数据存与取...
View ArticleClik here to view.
MongoDB的正确使用姿势
首先，MongoDB是文档型（Document store）的NoSQL数据库，数据以文档（对应关系型数据库的记录，本文有时候会混用）的形式在MongoDB中保存，文档实际上就是一个个JSON字符串，想必大家对JSON都比较熟悉，不赘述。使用JSON的好处是非常直观，通过一系列的Key-Value键值对来表示数据，符合我们的阅读习惯，下图所示是以JSON表示的用户信息文档。...
View ArticleClik here to view.
Cloud Adapter SDK Part 2: Functionality by Jeroen Ninck
Introduction So this is part 2 of a series of blog post describing building a Cloud Adapter for MongoDB. In this part I want to discuss the functionality I want to achieve. I will use windows 10 and...
View ArticleClik here to view.
2016中国软件大会:面向开发和DBA的Oracle 12.2新特性
在2016年12月10日的『中国软件大会上』，我分享了一个主题：《面向开发人员和DBA的Oracle 12c新特性》，从安全的主题开始，以在线变更为主线，分享了Oracle 12c的一些新特性，尤其是12.2的部分新特性。 在这个主题中， 12.2 的 lockdown profile 成为我的出发点，通过这一新的安全机制，Oracle 12c...
View ArticleHadoop Cluster Benchmark Performance
云主机 4 台 云主机类型名称 m1.xlarge-max 内存 32GB VCPU数量 8 VCPU 磁盘 50GB 操作系统版本 CentOS release 6.8 (Final) uname -a linux bigdata-server-1 2.6.32-642.el6.x86_64 #1 SMP Tue May 10 17:27:01 UTC 2016 x86_64 x86_64...
View ArticleClik here to view.
Moving from MongoDB to Couchbase server (revisited)
Note: this blog post is a revist of Matthew Revell’s Moving from MongoDB to Couchbase Server This is a developer-focused guide to moving your application’s data store from MongoDB toCouchbase Server....
View ArticleClik here to view.
Hadoop官方文档翻译――YARN Architecture（2.7.3）
The fundamental idea of YARN is to split up the functionalities of resource management and job scheduling/monitoring into separate daemons. The idea is to have a global ResourceManager ( RM ) and...
View ArticleClik here to view.
Redis源码解析――有序整数集
大小尾（Big Endian/Little Endian） 第一次接触这个概念还是在大学时上“计算机原理”时，当时只是简单的知道它的特点，但是丝毫没有深究它们产生的原因和特点。这次借着解析Redis源码，重新学习了一下大小尾。...
View ArticleClik here to view.
十年杭研技术秀 | Hadoop数据平台自动化管理实践
大数据在杭研 随着杭研走过第十个年头，大数据平台的发展见证了多个大数据应用系统在杭研的蓬勃发展。从自研的分布式文件系统（DFS）、分布式计算框架NEMR（NetEase...
View Article深入剖析 redis 数据结构 ziplist
概述 在 redis 中，list 有两种存储方式：双链表(LinkedList)和压缩双链表(ziplist)。双链表即普通数据结构中遇到的，在 adlist.h 和 adlist.c 中实现。压缩双链表以连续的内存空间来表示双链表，压缩双链表节省前驱和后驱指针的空间(8B)，这在小的 list 上，压缩效率是非常明显的；压缩双链表在 ziplist.h 和 ziplist.c 中实现。...
View ArticleClik here to view.
Top 30 SQL Server DBA Interview Questions
Top 30 SQL Server DBA Interview Questions SQL THE ONE There are total 185 questions are answered under SQL Server DBA category in the book “ SQL THE ONE ”. In this chapter we can see questions and...
View ArticleClik here to view.
Universal or Heavy, that is the question?
Introduction As a Professional Services Consultant, a discussion that I often encounter when on site with customers is whether to use aUniversal Forwarder or a Heavy Forwarder. Splunk provides two...
View ArticleMongoDB Performance: Running MongoDB Aggregations On Secondaries
Aggregations operations in MongoDB allow you to process data records, group them and return computed results on them. MongoDB supports three kinds of aggregation operations: single purpose aggregation...
View ArticleClik here to view.
MongoDB学习笔记~数据模型属性为集合时应该为它初始化
回到目录 今天要说一下技术点，我们在设计mongodb的数据模型时，如果属性是 数组或者集合 类型，我们在模型初始化时，需要为它们初始化一下，否则在数据库里将会被存储为NULL，当被存储为NULL时，我们将无法进行组件的push,pull等操作。 之间在设计模型时没有注意这点，然后产生的问题就是，没有被集合赋值，在mongodb里将会存储为NULL...
View ArticleClik here to view.
大数据处理系统关键层次架构
在数据存储层，还有很多类似的系统和某些系统的变种，这里，我仅仅列出较为出名的几个。如漏掉某些重要系统，还请谅解。 以下是对上图中各层次架构的说明 一、数据存储层 宽泛地讲，据对一致性(consistency)要求的强弱不同，分布式数据存储策略，可分为ACID和BASE两大阵营。...
View ArticleClik here to view.
fio与iometer
FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证，支持13种不同的I/O引擎，包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。他可以通过多线程或进程模拟各种io操作。 fio这个工具实在太强大了，列举一下他的NB之处吧...
View ArticleClik here to view.
腾讯分析系统架构解析
TA（Tencent Analyticis，腾讯分析）是一款面向第三方站长的免费网站分析系统，是腾讯海量数据分析能力对外的开放。腾讯分析在数据稳定性、及时性方面广受站长好评，其秒级的实时数据更新频率达到业界领先水平。本文将从实时数据处理、数据存储等多个方面带您深入探寻TA的系统架构及实现原理。 腾讯分析业务简介 网站分析(Web...
View ArticleClik here to view.
Redis源码剖析--压缩列表ziplist
压缩列表（ziplist）是由 一系列特殊编码的内存块构成的列表，其是Redis的列表建和哈希键的底层实现之一。和整数集合一样，二者都是为Redis节省内存而开发的数据结构。 ziplist可以用来存放字符串或者整数，其存储数据的特点是：比较小的整数或比较短的字符串。Redis的列表建，哈希键，有序集合的底层实现都用到了ziplist。 ziplist结构...
View ArticleClik here to view.
中软卓越大数据培训：你的iOS项目适合这个框架吗？
大数据框架多种多样，但是不同类型的框架优点不同，针对解决的问题也不一样。每个框架都有自己的性格和爱好，如何选择，怎样判断你的项目用哪个框架更合适，是一个重要问题，因为这关系到程序运行和用户体验，甚至是决定项目成败的关键因素。中软卓越大数据开发培训提示：了解每种框架的特点，很有必要!今天重点跟大家介绍批处理框架Apache Hadoop。 批处理系统...
View ArticleClik here to view.
Working with MongoDB in .NET (Part 2): Retrieving Documents with Filter Clause
In the previouspart we went through some of the driver basics and how to insert documents to a collection. In this part of the series, we'll learn how to retrieve documents from the database. Any...
View Article