Ugly-Distributed-Crawler：基于 Redis 实现的简单到爆的分布式爬虫
Ugly-Distributed-Crawler 简陋的分布式爬虫 新手向，基于Redis构建的分布式爬虫。 以爬取考研网的贴子为例，利用 PyQuery, lxml 进行解析，将符合要求的文章文本存入MySQ数据库中。 结构简介 cooperator 协作模块，用于为Master&Worker模块提供代理IP支持 master 提取满足条件的文章url，并交给Worker进一步处理...
View ArticleClik here to view.
Simple OAuth With MongoDB & MySQL
Don Omondi, Campus Discounts' founder and CTO, discusses securing applications with OAuth and shows you how to securely store authentication data using mysql and MongoDB. OAuth is an open standard for...
View ArticleApache Ambari 任意代码执行漏洞(CVE-2014-3582)
Apache Ambari 任意代码执行漏洞(CVE-2014-3582) 发布日期：2017-03-29 更新日期：2017-03-30 受影响系统： Apache Group Ambari < 2.4.0 描述： CVE(CAN) ID: CVE-2014-3582 Apache Ambari是规定、管理、监控ApacheHadoop集群的工具。 Apache Ambari <...
View ArticleClik here to view.
从phpinfo中能获取哪些敏感信息
phpinfo()想必的最熟悉的了，在搭建环境之后都会随后写一个phpinfo()来测试环境是否正常，很多人测试完毕忘记删除就开始部署环境了，这就造成了一些敏感信息的泄漏。那么我们能从phpinfo()中获得哪些敏感信息呢？php版本这种就不用说了，来看一下泄漏了哪些比较敏感的信息。 一、绝对路径(_SERVER[“SCRIPT_FILENAME”])...
View ArticleDelphi 10.2 Tokyo: REDIS Client is ready for Linux (VIDEO)
Now that Delphi can compile for linux, I’d like to show how to use Delphi REDIS client on Linux. Redis is a very powerful key-value store server used by the biggest companies in the world. While it is...
View ArticleClik here to view.
【Redis最佳实践】Redis在排行榜中的使用总结
前言 redis官网 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。...
View ArticleMongoDB 文档操作
插入文档 insert() 语法格式 insert() 方法的基本格式为: >db.COLLECTION_NAME.insert(document) 范例1 >db.mycol.insert( { "_id": ObjectId(7df78ad8902c), "title": "MongoDB Overview", "description": "MongoDB is no sql...
View ArticleRedis 3.2集群环境搭建和测试
Redis 3开始支持了Cluster模式，增强了Redis的水平扩展能力，Redis Cluster的节点分片通过hash slot实现，每个节点上的键都属于16384(0~16383)个slots中的一个，每个节点负责处理一部分slots。Redis...
View ArticleClik here to view.
MongoDB_Sharding备份和恢复深度解密
大数据时代，数据保存的重要性不言而喻。在数据保存过程中，数据的备份更是一个值得深入研究的课题。在3月12日下午举行的MongoDB杭州用户交流会上，阿里云技术专家明俨分享了MongoDB Sharding备份和恢复的技术解密。他通过介绍不同的备份方法及备份的主要问题等方面来阐述阿里云在MongoDB Sharding备份和恢复方面所做的工作。 在“MongoDB...
View ArticleUsing Apache Tinkerpop Gremlin 3 graph API with OrientDB version 2
This post describes how to get started using the Gremlin 3 console with OrientDB version 2.2. OrientDB is an open-source multi-model database that combines NoSQL documents with a graph database. Apache...
View ArticleGraph Analytics on HBase with HGraphDB and Spark GraphFrames
In a previouspost, I showed how to analyze graphs stored in HGraphDB using Apache Giraph . Giraph depends on Hadoop, and some developers may be using Spark instead. In this blog I will show how to...
View ArticleClik here to view.
Azure NoSQL DocumentDB
Azure DocumentDB is a NoSQL document database-as-a-Service from Microsoft Azure is designed for saving, retrieving and managing each record in an internal structure of fields (semi-structured data,...
View Articlemongo的geo查询
maven <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId> </dependency> domain...
View Article本地数据存储
最近在考虑如何做算法的优化计算，有两个地方比较头疼： 耗时 内存 现在的做法是一股脑把所有的东西丢到内存，做起来简单，但是一个任务开跑400MB+的内存就没了，有点慌。并且，读取这400MB+的数据耗时也相当可观，如果能将数据放在本地，在执行任务的时候就地取材，应该也能省不少。 Chronicle 同时支持堆外和持久化。 用法&特点 在创建的时候如果是 create 则用堆外内存，如果是...
View ArticleClik here to view.
技术直播：大数据技术企业应用，实战hadoop！
数据获取是大数据分析的基本功，那么到底数据该如何获取？本次直播将通过4个课时，让你学会如何获取数据，获取的数据怎么进行分析，以及最终该如何呈现。 CSDN联合大数据实战专家徐培成老师共同出品，意在通过项目实例，让大家快速切入，重点讲解内容，让大家真正掌握。 直播时间：4月12日开始起的每周三 晚上20:00开始，连续4周。 直播平台：CSDN学院 下方微信群！...
View ArticleClik here to view.
基于redis的时序ID生成器 | sequence ID base on redis
随着数据量的增加，采用分库分表后，全局唯一ID生成器是大多数互联网公司都需要的基础架构组件，采用redis的高性能特性，加上时序id算法，可以完美解决唯一ID的问题，本文主要讲其实现算法. 项目使用的源代码[github] : id-generator-base-on-redis 目录 1.为什么需要ID生成器...
View ArticleShiro中Session和Cookie的一些思考
这篇博客就来写一写之前学习shiro框架整合的时候，产生的一些问题，相信大家在学习的时候也有相应的一些疑惑。接下来就针对shiro中的session和cookie来捋一捋。 shiro整合学习的总结...
View ArticleClik here to view.
Cypher location queries
This is second part of my Hospital project. If you missed thefirst one,be sure to check it out, as we will continue, where we left of last time. Today I will show you how to get GPS informations with...
View ArticleClik here to view.
图解故障服务器下线：关于MongoDB高可用的探秘
服务器容灾一直是云服务运维过程中无法避开的问题，我们常常会讨论如何对出现故障的机器进行数据库方面的恢复，却很少考虑到在机器出现故障后，是用一套怎样的处理流程将三节点副本集恢复如初的。 MongoDB采用的是什么方法，得以做到在有机器故障的情况下依旧能保证用户业务的高可用？最近举行的“MongoDB Sharding杭州用户交流会”中，针对这一问题，阿里云资深研发工程师果实分享了关于MongoDB...
View ArticleData Crunching Startup Cloudera Just Filed to Go Public
There could be another big technology IPO in 2017. Cloudera, a data analytics startup, has filed to go public and will trade on the New York Stock Exchange under the symbol CLDR. The Palo Alto-based...
View Article