Data Eng Weekly Issue #294
23 December 2018 It's a busy issue this week as lots of folks published articles before the year end. A few of the must reads include how the Guardian migrated from MongoDB to Postgres, an analysis of...
View ArticleClik here to view.
Apache Phoenix：HBase之上的SQL工具[1] 简介与架构
Apache Phoenix：HBase之上的SQL工具[1] 简介与架构 作者：胡佳辉(Dennis) 时间：2019年1月1日 CSDN博客： https://blog.csdn.net/gobitan Phoenix简介 Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。Apache...
View ArticleClik here to view.
Hadoop 容器调度器与公平调度器原理和实践深入剖析-Hadoop商业环境实战
版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何技术交流，可随时联系。 1 公平调度（资源不够也会运行，以最少的资源进行资源调度） 不够用时最多抢占其他队列的应用只有一个...
View ArticleClik here to view.
Apache Phoenix：HBase之上的SQL工具[5]: 事务与索引
Apache Phoenix：HBase之上的SQL工具[5]: 事务与索引 作者：胡佳辉(Dennis) 时间：2019年1月1日 CSDN博客： https://blog.csdn.net/gobitan Phoenix事务 事务，通俗地讲，可以看做是多于一个修改，要么全部生效，要么都不生效，从而确保数据的完整性、一致性。HBase采用Apache Tephra作为Transaction...
View ArticleStrange behavior in the knot or am I sleeping?
My js is as follows, /* * GET home page. */ var MongoClient = require('mongodb'); exports.index = function(req, res){ var studentObj = {}; MongoClient.connect("mongodb://localhost:27017/MY_DB_TEST",...
View ArticleClik here to view.
可容错的 server proxy 实现
最近需要对手头的一个 rpc proxy 进行升级改造，升级之后要能做到： 自动上线下线故障节点 支持动态扩容和缩容 支持对后端的 server 进行权重分流和负载均衡 这些目标要实现的功能和 MongoDB driver client 的功能很相似，MongoDB 本身就是分布式的系统，支持 replicateSet 和 shard 模式，每个 server 除了读写限制之外还支持使用 tag...
View ArticleDelimitants of Apache Pig stores
I'm using Pig Latin to store values from an alias into the HDFS. The alias contains a semicolon in one of its fields. dump A; (Richard & John, 1993) (Albert, 1994) A table that shows the data in...
View ArticleHadoop之MapReduce实战
原文地址： itweknow.cn/detail?id=6… ,欢迎大家访问。 MapReduce是一种编程模型，"Map（映射）"和"Reduce（归约）"，是它们的主要思想，我们通过Map函数来分布式处理输入数据，然后通过Reduce汇总结果并输出。其实这个概念有点类似于我们Java8中的StreamApi，有兴趣的同学也可以去看看。...
View Article关于Redis的一些新特性 ，使用建议和最佳实践
redis从2009年诞生到现在已经走过将近10年，从最开始大家在讨论nosql和传统关系数据库孰优孰劣，到现在大家谈起分布式锁，缓存纷纷将Redis作为其第一选择，服务端面试中Redis也作为一项必备能力，而如今Redis 5.0已经发布，越来越多的新特性被加入，我完整的观察到并参与了一项新的开源产品从走入大家的视野到被接受，之后再流行的整个过程，也同时见证了memcache的日薄西山。...
View ArticleClik here to view.
Parsing infinite streams with attoparsec
Posted on January 1, 2019 by wjwh In aprevious article, we looked at how Redis replication works and obtained a replication stream in our terminal using netcat . However, the data sent over was not...
View ArticleClik here to view.
Hadoop-1.基本介绍与环境配置
编辑推荐: 本文来自于个人博客，本文主要详细介绍了一个Hadoop的Master节点的安装配置过程，希望对您的学习有所帮助。 一、Hadoop的发展历史 说到Hadoop的起源，不得不说到一个传奇的IT公司―全球IT技术的引领者Google。Google（自称）为云计算概念的提出者，在自身多年的搜索引擎业务中构建了突破性的GFS（Google File...
View ArticleClik here to view.
Hadoop Submarine Adds Deep Learning To Hadoop
There's a new Hadoop project for building deep learning frameworks, like TensorFlow, on Apache Hadoop. Hadoop Submarine has integrations with Zeppelin and Azkaban for running jobs. Hadoop is a...
View ArticleClik here to view.
Learn How to Use JSON Web Tokens (JWT)
Learn how to use JSON Web Tokens (JWT) for much Authentication win! Learn how to use JSON Web Token (JWT) to secure your Web and/or Mobile Application! Why ? JSON Web Tokens (JWTs) make it easy to...
View ArticleClik here to view.
Hadoop-2.HDFS基础入门
编辑推荐: 本文来自于个人博客，本文主要详细介绍了作为Hadoop的核心技术之一HDFS（Hadoop Distributed 是分布式计算中数据存储管理的基础。 一.HDFS出现的背景...
View ArticleClik here to view.
英国《卫报》是如何不停机从MongoDB迁移到Postgres？
这篇文章介绍了英国《卫报Guardian》为什么和如何从Mongo迁移到Postgres，英国卫报大部分内容 - 包括文章，实时博客，画廊和视频内容 - 都是内部CMS工具Composer中制作的。直到最近一直得到了在AWS上运行的Mongo DB数据库的支持。这个Mongo DB数据库是Guardian所有在线发布内容的“真实来源” - 大约230万内容项。...
View ArticleClik here to view.
5分钟理解一致性哈希算法
一致性哈希算法(Consistent Hashing)在分布式系统的应用还是十分广泛的，本文尽量结合业务场景快速讲解一致性哈希算法的应用及与其相关的话题。 1 分布式缓存 随着业务的扩展，流量的剧增，单体项目逐渐划分为分布式系统。对于经常使用的数据，我们可以使用Redis作为缓存机制，减少数据层的压力。因此，重构后的系统架构如下图所示：...
View ArticleNeo4j subtract elements from a path
I'm trying use this query in Cypher(Neo4): MATCH p=(n:BP)-[:Selected]-(g:MOL)-[:Selected]-(e:BP) WHERE n.NameExp='Bos_RM' AND e.NameExp='Jac_RM' AND NONE(x IN nodes(p) WHERE x.NameExp='Jac_AGM' OR...
View ArticleTrying to achieve skewed menu items without skewed text. Came close but 2nd...
I used ' transform ' to skew the li items, then opposite transform on the span s to straighten out the text. I had to use jQuery to add the span s around the text because the CMS I have to use at work...
View ArticleClik here to view.
PostgreSQL is the DBMS of the Year 2018
PostgreSQL is the database management system that gained more popularity in ourDB-Engines Ranking within the last year than any of the other 343 monitored systems. We thus declare PostgreSQL as the...
View ArticleClik here to view.
Hadoop Submarine为Hadoop增添了深度学习
在ApacheHadoop上有一个新的Hadoop项目，用于构建深度学习框架，如TensorFlow。 Submarine与Zeppelin和Azkaban进行了集成，用于运行作业。 Hadoop是一个框架，可用于使用简单的编程模型跨计算机集群处理大型数据集。新项目旨在改善对使用深度学习分析Hadoop数据的支持。 Hadoop...
View Article