大數據

很多開發人員在解決實際的業務問題時，經常會面臨如何選擇大數據框架的困惑。比如有十億條數據需要進行聚合操作，是把數據放在 HBase+Phoenix 還是 Kudu+Impala 或是 Spark 上進行呢？到底哪種方案才能夠達到降低開發運營成本且性能足夠高的效果呢？

UCloud 推出了數據傳輸 (UCloud Data Transmission Service) UDTS 服務，支持多種同構和異構數據源之間進行全量或增量數據傳輸、支持多庫或全庫的遷移、支持 ETL 數據過濾等，從而幫助用戶降低數據遷移的風險、提高數據傳輸的實時可靠性，方便其靈活調整數據架構、實時同步數據并分析等

很多開發人員在解決實際的業務問題時，經常會面臨如何選擇大數據框架的困惑。比如有十億條數據需要進行聚合操作，是把數據放在 HBase+Phoenix 還是 Kudu+Impala 或是 Spark 上進行呢？到底哪種方案才能夠達到降低開發運營成本且性能足夠高的效果呢？

UCloud 推出了數據傳輸 (UCloud Data Transmission Service) UDTS 服務，支持多種同構和異構數據源之間進行全量或增量數據傳輸、支持多庫或全庫的遷移、支持 ETL 數據過濾等，從而幫助用戶降低數據遷移的風險、提高數據傳輸的實時可靠性，方便其靈活調整數據架構、實時同步數據并分析等

日前，人力資源和社會保障部等三部門正式發布了人工智能工程技術人員、物聯網工程技術人員、大數據工程技術人員等13個新職業信息，這也是自2015年版國家職業分類大典頒布以來發布的首批新職業。這一調整不僅影響...

隨著技術的不斷發展，技術的種類越來越多，人們不可能掌握全部的技術，但是技術對于人們的選擇有了太多太多，這時候在選擇什么技術的時候，人們往往就會陷入迷茫，不知道應該選擇什么樣的技術，不清楚自己應該從...

本文首發于 vivo互聯網技術 微信公眾號 [鏈接]作者：李勇 目錄： 1.SparkSql 2.連接查詢和連接條件 3.謂詞下推 4.內連接查詢中的謂詞下推規則 4.1.Join后條件通過AND連接 4.2.Join后條件通過OR連接 4.3.分區表使...

如上圖所示，智能機器人顯示在右上角。在我們的迷宮中，有陷阱（紅色炸彈）及終點（藍色的目標點）兩種情景。機器人要盡量避開陷阱、盡快到達目的地。

商鞅也說過經典的“強國知十三數“：竟內倉、口之數,壯男、壯女之數,老、弱之數,官、士之數,以言說取食者之數,利民之數,馬、牛、芻藁之數。

簡介 hbase是大數據hadoop的數據庫 存儲數據 {代碼...} 檢索數據 {代碼...} 已經有RDBMS數據庫為什么還需要hbase這種hadoop數據庫？（什么時候需要選擇hbase） 要存儲的數據為海量的數據 {代碼...} 要存儲的數據...

Kafka發送消息大小問題 ?? 本文實驗的Kafka版本為2.11版本. 消息概述 kafka中的消息指的就是一條ProducerRecord,里面除了攜帶發送的數據之外,還包含: topic 發往的Topic partition 發往的分區 headers 頭信息 key...

有贊大數據技術應用的早期，我們使用 Sqoop 作為數據同步工具，滿足了 MySQL 與 Hive 之間數據同步的日常開發需求。

本文轉載自 Jark’s Blog ，作者伍翀（云邪），Apache Flink Committer，阿里巴巴高級開發工程師。本文將從開發環境準備、創建 Maven 項目，編寫 Flink 程序、運行程序等方面講述如何迅速搭建第一個 Flink 應用。...

本文將為大家介紹Apache Flink在愛奇藝的生產與實踐過程。你可以借此了解到愛奇藝引入Apache Flink的背景與挑戰，以及平臺構建化流程。主要內容如下： 愛奇藝在實時計算方面的的演化和遇到的一些挑戰 愛奇藝使用F...

導讀： 隨著人工智能技術的爆發，2017 年人工智能已經上升為國家戰略，開始在越來越多的行業落地。而傳統金融行業受到互聯網技術的沖擊，也紛紛踏上轉型之路，向數字化、智能化轉型。InfoQ 記者采訪了宜信 CTO 向...

導讀：宜信于2017年推出了一系列大數據開源工具，包括大家熟悉的DBus、Wormhole、Moonbox、Davinci等，在技術社區內得到了廣泛關注和好評。這些工具是如何在宜信內部應用的？它們和宜信數據中臺是怎樣的關系？又...

大數據 概念：big data 5V特征： Volume：量大 Value：價值高，價值密度低 Variety：多樣性 Velocity：速度快 Veracity：準確性 hadoop 主要組成 GFS --> HDFSMapReduce --> MapReduceBigTable -- > HBa...

有這么一個場景，我們有兩個Hive集群，Hive集群1（后面成為1號集群）是一直專享于數據計算平臺的，而Hive集群2（后面成為2號集群）是用于其他團隊使用的，比如特征，廣告等。而由此存在兩個主要問題：a) 兩個Hive...

高可用（HA） -- ZooKeeper ZooKeeper 一個開源的分布式的,為分布式應用提供服務的項目 提供原語集合以便分布式應用可以在它之上構建更高層次的同步服務 角色 {代碼...} 安裝 偽分布模式 {代碼...} 完全分布模式 ...

在使用 Spark 進行計算時，我們經常會碰到作業 (Job) Out Of Memory(OOM) 的情況，而且很大一部分情況是發生在 Shuffle 階段。那么在 Spark Shuffle 中具體是哪些地方會使用比較多的內存而有可能導致 OOM 呢？ 為...

一、數據就是生產力。筆者兩年前在袋鼠云做的國內某省一個交警項目上，面對著海量的車輛軌跡數據時，第一次感受到什么是數據的力量。

作者介紹：韓鋒：宜信數據庫開發與管理主任工程師ACMUG主席團成員，CCIA（中國計算機行業協會）常務理事，Oracle ACE，DBAplus聯合創始人，ODF 顧問團成員，ACOUG,ACMUG,DBGeek撰稿人，著有《SQL優化最佳實踐》一...

【宜信技術沙龍】是由宜信技術學院主辦的系列技術分享活動，活動包括線上和線下兩種形式，每期技術沙龍都將邀請宜信及其他互聯網公司的技術專家分享來自一線的實踐經驗，分享內容覆蓋金融科技及軟件研發等主要技...

flume簡介 cloudera 公司開源的，貢獻給Apache基金會 [鏈接] [鏈接] 只能運行在linux系統上 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving lar...

有贊是一個商家服務公司，提供全行業全場景的電商解決方案。在有贊，大量的業務場景依賴對實時數據的處理，作為一類基礎技術組件，服務著有贊內部幾十個業務產品，幾百個實時計算任務，其中包括交易數據大屏，商...

再和很多想進入數據科學行業的小白們聊天的時候，在談到為什么要進入這個行業的時候，他們都認為未來，將會是數據為王的時代，他們之中有很多已經工作多年已經了解到行業內數據的發展變化，有一些是還處于校園內...

Kafka是由Apache軟件基金會開發的一個開源流處理平臺，由Scala和Java編寫。該項目的目標是為處理實時數據提供一個統一、高吞吐、低延遲的平臺。其持久化層本質上是一個“按照分布式事務日志架構的大規模發布/訂閱...