MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

Docker - Basics

MYOAK 77  

1.Basic commands$ docker version returns the version of you client(here is the CLI); the server is also called the engine which is running in the background on...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

Python3常用代码汇总二(未完)

MYOAK 174  

写着写着《Python3常用代码汇总一》的目录已经差不多写满了,于是就有了二。The Zen of Python在Python shell里面直接输入import this回车,就可以显示Tim Peters写的关于Python的禅宗。The Zen of Python, by Tim PetersBeau...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

机器学习——经验积累的无比重要性(未完)

MYOAK 145  

通过最近一段机器学习任务的上手,感觉到做机器学习更像是当医生,很需要知识储备和经验累积。对于小白来说面对一堆数据,甚至有时候数据都需要自己想办法获取,毫无头绪,根本无从下手。即使有很多写好的框架,但是胡乱地套进去,会遇到很多预想不到的问题。不知道问题源自何处,如何解决。这就需要在学习理论知识的同时(对各种算法模型的了...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

vim基本用法

MYOAK 219  

vim编辑器在内存缓冲区中处理数据。只要键入vim命令(或vi,如果这个别名或链接文件存在的话)和要编辑的文件的名字就可以启动vim编辑器一、基本操作.tg {border-collapse:collapse;border-spacing:0;border-color:#999;}.tg td{font-fa...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

Linux/Unix Shell 基本常识及用法(三)

MYOAK 170  

(继上篇)三、Linux环境变量3.1 什么是环境变量很多程序和脚本都通过环境变量来获取系统信息、存储临时数据和配置信息。bash shell用一个叫作环境变量(environment variable)的特性来存储有关shell会话和工作环 境的信息(这也是它们被称作环境变量的原因)。这项特性允许你在内存中存储...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

Linux/Unix Shell 基本常识及用法(二)

MYOAK 158  

(继上篇)2.5 系统监测2.5.1监测程序当程序运行在系统上时,我们称之为进程(process)。想监测这些进程,需要熟悉ps命令的用法。ps命令只会显示当前控制台下的属于当前用户的进程。基本输出显示了程序的进程ID(Process ID,PID)、它们运行在哪个终端(TTY) 以及进程已用的CPU时间。如果你...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— Python API

MYOAK 1322  

Spark 简介简单地列一下自己觉得比较重点的,具体可以参考Spark文档或相关教程。Spark是基于内存进行计算,比如进行数据计算的时候,产生的中间数据会存放在内存中,不需要经过硬盘的写入写出过程。这也就是Spark比Hadoop快很多的原因。Spark提供了Python API,所以可以用Python去写Sp...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

2017科隆游戏展 - gamescom

MYOAK 935  

说正经的之前先说两句没用的。科隆游戏展是欧洲最大的综合性互动式游戏软件、信息软件和硬件设备展览,与美国E3游戏展(Electronic Entertainment Expo),日本东京电玩展(Tokyo Game Show,TGS)共称为世界三大互动娱乐展会。Gamescom 2017,有来自106个国家的共计约355...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

2017汉诺威工业展

MYOAK 920  

简介汉诺威工业展(德:Hannover Messe, 英:Hanover Fair)是当今国际最大的工业展。今年(2017),共计约225,000名参展观众,其中超过75,000名观众来自国外。外国观众中中国人最多,达9,000人次(数据来自汉诺威工业展官网)。汉诺威工业展的核心主题包括:Industrial...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

电影院订座系统基本原理Java

MYOAK 824  

本文主要记录下电影院订座系统的基本逻辑(不涉及并发等复杂问题),当然也可以用于很多其他的订座系统。可以按顺序打印出座位号。并且设定不同区域座位的不同价格,并按照价格的高低顺序排列出座位。用户输入其选择的座位号,如果该座位已经被预定,进行提示,否则提示预定所需价格。用户也可以取消预定座位。代码中通过用Seat类impl...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

聪明反被聪明误,多情却被无情恼

MYOAK 791  

本文打算收集一些自己觉得有意思的诗词,标题两句出自苏轼的《洗儿》和《蝶恋花·春景》,以表“诗中有玩世疾俗之意”。洗儿宋·苏轼人皆养子望聪明,我被聪明误一生。惟愿孩儿愚且鲁,无灾无难到公卿。蝶恋花·春景宋·苏轼花褪残红青杏小,燕子飞时,绿水人家绕。枝上柳绵吹又少,天涯何处无芳草。墙里秋千墙外道...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

How the Venture Capital Industry Works (End)

MYOAK 757  

本系列文章主要是对曼海姆商学院(Business school of university of Mannheim)Advanced Entrepreneurship 课程的一个总结,所以大部分内容都来自于 Professor Dr. Michael Woywode 的课件。其中也有部分内容是自己做的补充。由于翻译比较...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— Spark SQL (Java API)

MYOAK 671  

Spark SQL可以处理structured和semi-structured数据。这些数据在spark中通常被表示为Dataset(统称),就像数据库中的table一样。Dataset具有natural schema。Spark和Java可以在编译的时候(compile time)就知道Dataset中数据的类型,这...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Tensorflow笔记——TensorBoard

MYOAK 660  

庞大的Deep Neural Network(DNN)会很复杂,让人难以理解。谷歌引入了TensorBoard(visualization tools), 可以从浏览器中打开,地址为:http://localhost:6006/。6006是倒过来的"goog"是不是谷歌味儿十足啊。通过TensorBoard,我们可以看...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— 如何使用spark-submit

MYOAK 656  

我们用IDE或者Jupyter等在本地(local mode)运行测试代码非常方便,但是在实际应用中,由于数据量比较大,运行时间长,往往使用cluster mode,而且需要在Linux系统后台运行应用(比如用Screen),或者在server中自动或者定时运行应用(比如用Cron)。这就需要使用bin/spark-s...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Python 批量导入数据(.csv)到 Cassandra

MYOAK 643  

今天项目的supervisor说: 当你为解决完所有的bug而高兴时却发现程序的运行时间太长,这就是我的生活。—— 致把青春献给数据的码农们本文章要解决的问题是:在linux的虚拟机(VM)上,读取散布在不同文件夹的csv文件,并在每个csv文件中选取相同的特定的列,合并在一起导入到Cassandra的一个tabl...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— 服务器上安装 (Standalone Ubuntu|Mac)

MYOAK 639  

1.安装Java由于Spark是基于Scala的,依赖JVM的运行环境,所以需要安装Java。去官网下载Java8的安装包,这里需要注意的是如果在linux server上,不能用 wget 直接下载,会导致安装失败。要用本地电脑下载下来,然后在terminal session里面运行下面命令,把下载的文件上传到s...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark在Hadoop的HDFS中读取和存储数据

MYOAK 625  

本文的前提是已经安装了Spark和Hadoop,安装方法可以参考我之前的两篇文章Hadoop安装及配置 —— MacOS High Sierra和Spark 笔记|教程 —— 安装 (Standalone Ubuntu|Mac)。首先我们从本地系统复制一个样本txt文件(请自行准备)到Hadoop的HDFS中。启动H...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Hadoop安装及配置 —— MacOS High Sierra

MYOAK 598  

折腾了小半天,看了官方文档和许多博客,终于在Mac里安装上了Hadoop。所以在这里总结一下,让更少的人走弯路。Hadoop安装最好还是在Linux里面,毕竟以后的工作环境肯定是Linux,不过平时可以在Mac练练手,毕竟装个虚拟机的话要占用Mac的配置。一开始我看了一篇用Homebrew安装的文章,以为brew会...