2020年網際網路大數據技術的知識圖譜

2020-02-06T20:13:59+00:00

相比於其他領域的大數據,例如交通大數據、金融大數據、醫療大數據、政務大數據等等,網際網路大數據的開放性更好、具備大數據的各種典型特徵,是學習大數據技術最好的切入點。

常見的大數據平台架構設計思路

2020-03-20T04:30:00+00:00

近年來,隨著IT技術與大數據、機器學習、算法方向的不斷發展,越來越多的企業都意識到了數據存在的價值,將數據作為自身寶貴的資產進行管理,利用大數據和機器學習能力去挖掘、識別、利用數據資產。

大數據開發|Hadoop分布式集群環境構建

2020-04-21T00:49:25+00:00

一直想編寫一系列有關大數據開發、數據挖掘、雲計算等相關課程的學習資料,為零基礎又想從事大數據行業的小夥伴提供一些參考。

知名大廠是如何搭建大數據平台架構的?

2020-04-18T13:09:44+00:00

美團大數據平台美團大數據平台的數據源來自 MySQL 資料庫和日誌,資料庫通過 Canal 獲得 MySQL 的binlog,輸出給消息隊列 Kafka,日誌通過 Flume也輸出到 Kafka。

玩轉大數據開發工具--上下全篇

2019-12-22T15:55:46+00:00

為了降低大數據應用開發的門檻,簡化開發過程,星環隨Transwarp Data Hub 5.0開發出了大數據開發套件Transwarp Studio。

一個大數據從業者的職業選擇分享

2020-04-03T22:19:59+00:00

進幾年ABC發展火熱,由於筆者在一二線網際網路行業從事過大數據相關工作,因此決定在大數據領域對自己的所見所聞,來對該行業之外的人士所做一個講述,以及對想進入該行業的從業人員做個簡單的講述和分享。大數據首先重要的就是數據,數據從哪裡來,到哪裡去,這個是我們需要探討的。

三本畢業後入職網際網路大數據開發的經驗分享

2019-12-19T09:53:05+00:00

2018年從末流學校畢業,心情很是忐忑不安,學的是信息管理與信息系統專業,這個專業就是計算機和管理學的結合,萬金油專業,但是對學習好,或者學校好的同學(985、211),這是一個優勢,但是像我這樣,沒有認真學習,只喜歡玩的人來說是一個種打擊,來深圳後各種面試投簡歷,各種理由不要你

Hadoop為什麼需要安全?Transwarp如何讓Hadoop集群免受黑客攻擊

2019-12-30T10:00:31+00:00

其實,他們採用的大都是下面這些很簡單的方式:如果HDFSName Node沒有用戶認證,那麼黑客就可以偽裝成為其他用戶入侵一個公開的HDFS;如果HDFS Data Node沒有用戶認證,那麼黑客如果知道某個data block的ID,就可以任意訪問DataNode上該block

2020年大數據技術應用趨勢的預測,還會繼續火嗎?

2019-12-15T05:37:58+00:00

2020年大數據技術應用趨勢:混合計算、實時圖計算、與區塊鏈結合、基於AI的數據管理、邊緣數據科學每年這個時候我總會寫一寫大數據技術應用方向,作為對未來數據智能行業的觀察,反思企業當前採用大數據、人工智慧技術實踐中遇到的一些問題和難點。

大數據技術十大核心原理

2020-03-04T18:24:45+00:00

科學進步越來越多地由數據來推動,海量數據給數據分析既帶來了機遇,也構成了新的挑戰。大數據往往是利用眾多技術和方法,綜合源自多個渠道、不同時間的信息而獲得的。

大數據時代個人學習篇

2020-04-01T12:08:06+00:00

1、數據的管理和融合階段:這是大數據的基礎,重點是大數據基礎設施的建設,核心目標是要把大數據存起來、管起來、用起來。

如何成為大數據領域的佼佼者?

2020-02-11T17:23:33+00:00

在2019年,數據分析是企業發展需求最大的、最熱門的的工作之一。數據分析需要的技術領域包括Python、C ++和Java等程式語言,機器學習和AI經驗、定量分析能力、數據挖掘以及SQL / NoSQL資料庫和算法開發等技能。

最新大數據開發面經分享:北京快手大數據研發技術面經

2020-01-02T15:29:50+00:00

昨天面的, 下午2點到6點多, 全程見了2位HR和4位研發, 其中2位研發是比較高級的leader. 目前等HR回覆中自己之前在小公司做了2年大數據, 人手少, 哪裡需要哪裡搬, 所以這次被考察的面也有點廣題目做了一下簡單記錄, 會有遺漏, 並且沒有按順序哈.

大數據開發之Hadoop科普好文——常見的45個問題解答

2020-01-07T08:38:14+00:00

摘要:時至今日,Hadoop已成為最流行的離線數據處理平台,然而它的集群配置起來並不簡單。如果你學習Hadoop不久,相信下面這45個問題會對你有所幫助。在工作生活中,有些問題非常簡單,但往往搜索半天也找不到所需的答案,在Hadoop的學習與使用過程中同樣如此。

大數據時代:一定要學會如何用真實數據說話

2020-01-04T08:34:31+00:00

今天和大家分享一下數據分析的一些基本思想,我給它起了個名字叫做用數據說話。內容都是個人的一些心得,比較膚淺!如有不足之處,希望大家諒解!廢話不說了,現在咱正式開始。用數據說話,就是用真實的數據說真實的話!真實也可以理解為求真務實。

解密大數據領域崗位職業發展路徑

2020-02-08T23:31:20+00:00

—經濟學家詹姆斯·莫里斯行業背景國家信息中心《2017中國大數據產業發展報告》對我國大數據產業發展的人才、政策、投融資、創新創業、產業發展、區域潛力、機構和人物影響力等多個維度進行了全面分析。

這是一篇最通熟易懂的Hadoop HDFS實踐攻略

2020-01-06T00:23:18+00:00

本文主要幫您解決一下幾個問題:HDFS是用來解決什麼問題?怎麼解決的?如何在命令行下操作HDFS?如何使用Java API來操作HDFS?

大數據老兵的「回憶殺」:我做開發者這十年

2020-01-10T18:24:55+00:00

10年前,一邊學著編程,一邊嘗試自己做點東西放網上,那時候主要是接觸到都是些很廉價的虛擬主機,而且針對學生也沒啥優惠,再便宜一年也要小300塊,所以伺服器資源都是從飯錢里省出來的,現在學生9.9就能買伺服器了,條件比我們那時候優渥很多了,社會在進步~畢業後,我腦子一熱,一腳跨進了

大數據初學者學習不完全指南,持續更新...

2019-12-29T03:05:51+00:00

萬字長文,建議收藏大綱:第一章:初識Hadoop第二章:更高效的WordCount第三章:把別處的數據搞到Hadoop上第四章:把Hadoop上的數據搞到別處去第五章:快一點吧,我的SQL第六章:一夫多妻制第七章:越來越多的分析任務第八章:我的數據要實時第九章:我的數據要對外第十