Clik here to view.
spark-stream 访问 Redis
最近在spark-stream上写了一些流计算处理程序，程序架构如下 程序运行在Spark-stream上，我的目标是kafka、Redis的参数都支持在启动时指定。 在写代码时参考了这篇文章 https://www.iteblog.com/archi... ，该文讲的比较清楚，但是有两个问题： 用scala实现的 Redis服务器的地址是写死的，我的程序要挪个位置，要重新改代码编译。...
View Article如何优雅地删除Redis大键
关于Redis大键(Key)，我们从[空间复杂性]和访问它的[时间复杂度]两个方面来定义大键。 前者主要表示Redis键的占用内存大小；后者表示Redis集合数据类型(set/hash/list/sorted set)键，所含有的元素个数。以下两个示例： 1个大小200MB的String键(String Object最大512MB)；内存空间角度占用较大...
View ArticleRedis优雅地删除大键-草稿
关于Redis大键(Key)，我们从[空间复杂性]和访问它的[时间复杂度]两个方面来定义大键。 前者主要表示Redis键的占用内存大小；后者表示Redis集合数据类型(set/hash/list/sorted set)键，所含有的元素个数。 以下两个示例： 1个大小200MB的String键(String Object最大512MB)；内存空间角度占用较大...
View ArticleAdd More Fuel to Your Migration with these Parse Alternatives
Parse is the Facebook’s Mobile Backend as a Service provider that application developers use for web or mobile apps. It allows you to develop the app without worrying about creating your own backend....
View ArticleSecuring NoSQL Databases: Use the Force
With stories of the thefts of millions of credit card records and sensitive employee data at some of the world’s largest companies and government agencies dominating recent headlines, it’s not...
View ArticleClik here to view.
Doug Cutting亲自印证，国内企业对开源贡献非常多
我们现在的生活已经完全进入了信息化时代，可能所有人都间接用过Doug Cutting的作品，他是Lucene、Nutch 、Hadoop等项目的发起人。是他，把高深莫测的搜索技术形成产品，贡献给普通用户，同时还打造了目前在云计算和大数据领域里如日中天的 Hadoop。Doug Cutting现任Cloudera首席架构师，对于Hadoop在国内的推动，最近又有新进展。...
View ArticleClik here to view.
使用 redis-py 储存地理位置数据
Redis 3.2 版本的其中一个重要更新就是提供了对 地理位置（GEO）数据 的支持， 这一特性允许用户将地理位置信息储存到 Redis 数据库中， 并对它们执行距离计算、范围查找等操作。 尽管 Redis 3.2 正式释出已经有一段时间了， 但是 Redis 最常用的 python 库 redis-py 却一直没有添加对 GEO 特性的支持， 这给使用 Python 操作 Redis...
View Article一步一步教你写BT种子嗅探器之二---DHT篇
之前写了 原理篇 ，在原理篇里简单的介绍了一下DHT，但是还不够详细。今天我们就专门详细的讲一下嗅探器的核心-DHT，这里默认原理篇你已经读了。 背景知识 DHT全称 Distributed Hash Table ，中文翻译过来就是分布式哈希表。它是一种去中心化的分布式系统，特点主要有自动去中心化，强大的容错能力，支持扩展。另外它规定了自己的架构，包括keyspace和overlay...
View ArticleNotesIn9 192 : Intro to Graph Database in XPages
In this show IBM Champion and all around amazing developer Oliver Busse returns with an EPIC demonstration where he talks about using Graph Databases inside the XPages/Domino world. I’m far from an...
View Articleredis基本数据类型
redis支持的数据类型 String redis最基本的类型，可以是任意类型的字符串，也可以是数字 SET赋值，用法： SET key value GET取值，用法： GET key INCR递增数字，仅仅对数字类型的键有用，相当于Java的i++运算，用法： INCR key INCRBY增加指定的数字，仅仅对数字类型的键有用，相当于Java的i+=3，用法： INCRBY key...
View ArticleApache Phoenix 4.8.0 发布，HBase 的 SQL 驱动
Apache Phoenix 4.8.0 发布了，Apache Phoenix 是HBase 的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问，并将你的 SQL 查询转成 HBase 的扫描和相应的动作。 本次发布主要改进如下： - Local Index improvements[1] - Integration with hive[2] -...
View ArticleRedis复制主从数据不-致
很多常见的数据库，都采用逻辑异步(或半同步)的方式复制，数据是最终一致性的； 这就可能导致复制主从的数据不一致。 对mysql这种关系数据库，如果复制数据出现不一致，这种故障对业务而言，往往是影响极大的。 但Redis的缓存场景来说，主从数据不一致或丢失，其对业务影响都很小，一般不被大家所重视。 随着Redis用于存储场景越来越多，数据量也越大；这就使保证Redis复制数据一致会比较重要。...
View ArticleClik here to view.
跟我学Redis（15）―Redis主从复制
（一）主从简介 关系数据库（mysql）会使用一个主服务器（master）向多个从服务器（slave）发送更新，并使用从服务器来处理所有的读请求，来提高读写效率和数据备份。 Redis采用同样的方法来实现自己的复制特性，并将其作为扩展的一种手段。...
View Article你要了解mongodb的使用场景
mongodb的主要目标是在键/值存储方式（提供了高性能和高度伸缩性）以及传统的RDBMS系统（丰富的功能）架起一座桥梁，集两者的优势于一身。mongo适用于以下场景： a.网站数据：mongo非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。...
View ArticleClik here to view.
Redis数据“丢失”问题
Redis大部分应用场景是纯缓存服务，请求后端有Primary Storage的组件,如mysql,HBase;请求Redis的键未命中，会从primary Storage中获取数据返回，同时更新Redis缓存。 如果少量数据丢失，相当于请求”缓冲未命中“； 一般对业务的影响是无感知的。 但现在Redis用作存储的业务场景变多，数据丢失对业务是致命的影响。...
View ArticleClik here to view.
为什么 AppDynamics 重构指标服务时选择了 HBase 而不是别的 NoSQL
AppDynamics公司的智能程序平台可以帮助客户分析软件程序的性能、用户体验和业务影响等，并可以提供实时的监控、故障解决和分析等服务。智能程序平台的核心是负责记录、跟踪和比较性能指标的指标处理引擎。 在软件程序复杂度爆发性增长和许多公司把单一程序拆分成微服务的背景下，指标处理引擎需要采集和分析的指标也变得极度复杂和庞大，因而他们不得不重构了整个系统。Gautam...
View ArticleClik here to view.
你为什么在 Redis 里读到了本应过期的数据：Redis 过期策略解读
请叫我女王 为了防止世界被破坏，为了守护世界和平， 贯彻爱与真实的邪恶，可爱又迷人的反派角色，额，跑题了，其实我只是想说，每天都看一些高大上的技术贴，然并卵，即昨天污版TCP科普文之后，今天进入正题，我们只想关注一线运维工程师的台前幕后（一线、一线，挣钱少最苦逼的一线），欢迎点击上方的公众号关注我们！ 喵~ 一个事故的故事...
View ArticleClik here to view.
If-Then-Else Is a Code Smell
In most cases (maybe even in all of them), if-then-else can and must be replaced by a decorator or simply another object. I've been planning to write about this for almost a year but only today found a...
View ArticleCouchDB Weekly News, June 9, 2016
Releases PouchDB 5.4.1 has been released, with an important bugfix for node-websql and Cordova SQLite Storage users PouchDB 5.4.0 was released earlier this week Introducing PouchDB custom builds...
View ArticleClik here to view.
跟我学Redis（13）―Redis事务
有时候为了同时处理多个结构，我们需要向Redis发送多个命令。尽管Redis有几个可以在两个键之间复制或者移动元素的命令，却没有可以在不同类型之间移动元素的命令。 Redis有5个命令可以让 用户在不被打断的情况 下对多个键进行操作： WATCH、MULTI、EXEC、UNWATCH、DISCARD 本节我们主要介绍 MULTI 和 EXEC 命令。...
View Article