検索

大数据的三个入口

Jun 07, 2016 pm 03:56 PM
入り口データ方向人気のあるこれ

大数据的热门使得很多人都想往这个方向发展,做一些像数据挖掘,数据分析之类的工作。但是该从何开始呢?要怎样才能快速学到一些有用的知识,技能呢?我觉得有三个切入点,依照个人特点可以自行选择顺序切入。 1机器学习/数据挖掘 数据挖掘主要依赖于大部分

大数据的热门使得很多人都想往这个方向发展,做一些像数据挖掘,数据分析之类的工作。但是该从何开始呢?要怎样才能快速学到一些有用的知识,技能呢?我觉得有三个切入点,依照个人特点可以自行选择顺序切入。

1机器学习/数据挖掘

数据挖掘主要依赖于大部分机器学习算法,近些年由于深度学习算法的开发以及无人驾驶汽车等应用的实习使得机器学习变得热门,但是机器学习是个很深的学科,专门讲这门课程的学校也不多,对于硕士生,如果学过最优化等,学起来比较容易,但本科生要学好,就要很扎实的概率论与数理统计的基础。之前我看了很多这发面的书,觉得很痛苦,但我越来越觉得,这个东西有那么重要么?我认为,如果不是博士,没必要把机器学习/深度学习学的很深。就像算法是很重要,但程序员没必要都像ACM队员那样练习算法。我们学习机器学习是为了使用他,而且基本的那几个算法已经开发的差不多了,我们最需要掌握的就是怎样使用它们,而且就那么几个算法,只有每个都用过几次就掌握了,所以我非常推荐边学边应用到实际,根据自己的兴趣,找点数据,看看能不能挖掘出什么有用的信息,这样也有成就感。这里我推荐一本书:《机器学习:实用案例解析》。同时,建议学习一门新的语言:R语言。如果不想学,那么用C,python也都是可以的。(超大规模数据是不能用R的)最后,我觉得这部分并不一定先开始学,也不用每一个算法都掌握十分熟悉,先熟练掌握一到两个。

2Hadoop实战

hadoop基本是大数据的代名词了,因为他提供了一个平台,使得我们可以去处理超大的数据,至于怎么处理,处理后能得到什么,它不管。hadoop虽然只是个软件,但是有很复杂的原理,我们要知道他是怎样把大数据分不到好几个电脑上,知道MapReduce的原理。然后,就是怎样运作了。强烈建议大家自己安装好hadoop(要配置集群,自己剪虚拟机吧),然后在上面编点小程序练手。 Hadoop还有一个特点就是他有很多的附加服务,每个都有各自的功能,非常复杂,但是例如Hive,HBase等是非常重要的,也需要知道他们的工作原理,及使用方法。由于这部分大多是实战,学起来也不那么枯燥,所以我觉得这部分可以多用的点时间,把原理和方法都弄熟练,同时还要熟悉Linux环境,语言当然是JAVA。

3数据库

大数据毕竟也是数据,是离不开数据库的,很多人没有有数据库的基础,那么这方面也是必不可少的,各种数据库的特点都要有所了解,SQL的语句也要能熟练使用,即便大数据不热门了,数据库技术也会很重要的。

我觉得把上面3点全都做到的话,那么你肯定是一个全面的大数据人才,随便就能找个好工作了。但是我觉得数据挖掘这个东西,方法技能是一方面,还有一方面是意识层次的,也就是你对行业、商业的嗅觉有多大,你挖掘出来信息后能不能再经过自己的思考,变成对公司甚至人类有直接好处的观点。所以建议大家平时多关注互联网及其他行业的发展趋势,比较全面型的人才才是真的人才,大数据人才也不是一个普通程序员就能随便当的。

准备以后就写一些大数据方面的博文,自己学习的同时与大家分享知识是很快乐的。
声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
MySQLのライセンスは、他のデータベースシステムと比較してどうですか?MySQLのライセンスは、他のデータベースシステムと比較してどうですか?Apr 25, 2025 am 12:26 AM

MySQLはGPLライセンスを使用します。 1)GPLライセンスにより、MySQLの無料使用、変更、分布が可能になりますが、変更された分布はGPLに準拠する必要があります。 2)商業ライセンスは、公的な変更を回避でき、機密性を必要とする商用アプリケーションに適しています。

MyisamよりもInnodbを選びますか?MyisamよりもInnodbを選びますか?Apr 25, 2025 am 12:22 AM

Myisamの代わりにInnoDBを選択する場合の状況には、次のものが含まれます。1)トランザクションサポート、2)高い並行性環境、3)高いデータの一貫性。逆に、Myisamを選択する際の状況には、1)主に操作を読む、2)トランザクションサポートは必要ありません。 INNODBは、eコマースプラットフォームなどの高いデータの一貫性とトランザクション処理を必要とするアプリケーションに適していますが、Myisamはブログシステムなどの読み取り集約型およびトランザクションのないアプリケーションに適しています。

MySQLの外国キーの目的を説明してください。MySQLの外国キーの目的を説明してください。Apr 25, 2025 am 12:17 AM

MySQLでは、外部キーの機能は、テーブル間の関係を確立し、データの一貫性と整合性を確保することです。外部キーは、参照整合性チェックとカスケード操作を通じてデータの有効性を維持します。パフォーマンスの最適化に注意し、それらを使用するときに一般的なエラーを避けてください。

MySQLのインデックスのさまざまなタイプは何ですか?MySQLのインデックスのさまざまなタイプは何ですか?Apr 25, 2025 am 12:12 AM

MySQLには、B-Treeインデックス、ハッシュインデックス、フルテキストインデックス、空間インデックスの4つのメインインデックスタイプがあります。 1.B-Treeインデックスは、範囲クエリ、ソート、グループ化に適しており、従業員テーブルの名前列の作成に適しています。 2。HASHインデックスは、同等のクエリに適しており、メモリストレージエンジンのHASH_TABLEテーブルのID列の作成に適しています。 3。フルテキストインデックスは、記事テーブルのコンテンツ列の作成に適したテキスト検索に使用されます。 4.空間インデックスは、地理空間クエリに使用され、場所テーブルのGEOM列での作成に適しています。

MySQLでインデックスをどのように作成しますか?MySQLでインデックスをどのように作成しますか?Apr 25, 2025 am 12:06 AM

tocreateanindexinmysql、usethecreateindexstatement.1)forasinglecolumn、 "createdexidx_lastnameonemployees(lastname);" 2)foracompositeindexを使用して、 "createindexidx_nameonemployees(lastname、firstname);" 3); "3)、" 3)を使用します

MySQLはSQLiteとどのように違いますか?MySQLはSQLiteとどのように違いますか?Apr 24, 2025 am 12:12 AM

MySQLとSQLiteの主な違いは、設計コンセプトと使用法のシナリオです。1。MySQLは、大規模なアプリケーションとエンタープライズレベルのソリューションに適しており、高性能と高い並行性をサポートしています。 2。SQLiteは、モバイルアプリケーションとデスクトップソフトウェアに適しており、軽量で埋め込みやすいです。

MySQLのインデックスとは何ですか?また、パフォーマンスをどのように改善しますか?MySQLのインデックスとは何ですか?また、パフォーマンスをどのように改善しますか?Apr 24, 2025 am 12:09 AM

MySQLのインデックスは、データの取得をスピードアップするために使用されるデータベーステーブル内の1つ以上の列の順序付けられた構造です。 1)インデックスは、スキャンされたデータの量を減らすことにより、クエリ速度を改善します。 2)B-Tree Indexは、バランスの取れたツリー構造を使用します。これは、範囲クエリとソートに適しています。 3)CreateIndexステートメントを使用して、createIndexidx_customer_idonorders(customer_id)などのインデックスを作成します。 4)Composite Indexesは、createIndexIDX_CUSTOMER_ORDERONORDERS(Customer_Id、Order_date)などのマルチコラムクエリを最適化できます。 5)説明を使用してクエリ計画を分析し、回避します

データの一貫性を確保するために、MySQLでトランザクションを使用する方法を説明します。データの一貫性を確保するために、MySQLでトランザクションを使用する方法を説明します。Apr 24, 2025 am 12:09 AM

MySQLでトランザクションを使用すると、データの一貫性が保証されます。 1)StartTransactionを介してトランザクションを開始し、SQL操作を実行して、コミットまたはロールバックで送信します。 2)SavePointを使用してSave Pointを設定して、部分的なロールバックを許可します。 3)パフォーマンスの最適化の提案には、トランザクション時間の短縮、大規模なクエリの回避、分離レベルの使用が合理的に含まれます。

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

PhpStorm Mac バージョン

PhpStorm Mac バージョン

最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

WebStorm Mac版

WebStorm Mac版

便利なJavaScript開発ツール

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません