|
159 | 159 | }, |
160 | 160 | { |
161 | 161 | "cell_type": "code", |
162 | | - "execution_count": 18, |
| 162 | + "execution_count": 8, |
163 | 163 | "id": "greatest-cancellation", |
164 | 164 | "metadata": {}, |
165 | 165 | "outputs": [], |
|
183 | 183 | }, |
184 | 184 | { |
185 | 185 | "cell_type": "code", |
186 | | - "execution_count": 19, |
| 186 | + "execution_count": 22, |
187 | 187 | "id": "coordinate-gossip", |
188 | 188 | "metadata": {}, |
189 | 189 | "outputs": [], |
|
194 | 194 | }, |
195 | 195 | { |
196 | 196 | "cell_type": "code", |
197 | | - "execution_count": 20, |
| 197 | + "execution_count": 23, |
198 | 198 | "id": "bfe20bd8", |
199 | 199 | "metadata": {}, |
200 | 200 | "outputs": [ |
201 | 201 | { |
202 | 202 | "name": "stderr", |
203 | 203 | "output_type": "stream", |
204 | 204 | "text": [ |
205 | | - "2021-06-20 11:53:04,117\tINFO services.py:1269 -- View the Ray dashboard at \u001b[1m\u001b[32mhttp://127.0.0.1:8265\u001b[39m\u001b[22m\n" |
| 205 | + "2021-06-21 15:56:54,811\tINFO services.py:1269 -- View the Ray dashboard at \u001b[1m\u001b[32mhttp://127.0.0.1:8265\u001b[39m\u001b[22m\n" |
206 | 206 | ] |
207 | 207 | }, |
208 | 208 | { |
|
211 | 211 | "{'node_ip_address': '9.211.53.245',\n", |
212 | 212 | " 'raylet_ip_address': '9.211.53.245',\n", |
213 | 213 | " 'redis_address': '9.211.53.245:6379',\n", |
214 | | - " 'object_store_address': '/tmp/ray/session_2021-06-20_11-53-02_767779_97928/sockets/plasma_store',\n", |
215 | | - " 'raylet_socket_name': '/tmp/ray/session_2021-06-20_11-53-02_767779_97928/sockets/raylet',\n", |
| 214 | + " 'object_store_address': '/tmp/ray/session_2021-06-21_15-56-53_457589_24968/sockets/plasma_store',\n", |
| 215 | + " 'raylet_socket_name': '/tmp/ray/session_2021-06-21_15-56-53_457589_24968/sockets/raylet',\n", |
216 | 216 | " 'webui_url': '127.0.0.1:8265',\n", |
217 | | - " 'session_dir': '/tmp/ray/session_2021-06-20_11-53-02_767779_97928',\n", |
218 | | - " 'metrics_export_port': 64339,\n", |
219 | | - " 'node_id': '8c45750634c387b09b787fb7a0aa191df63f6d5274861bad27c00cb3'}" |
| 217 | + " 'session_dir': '/tmp/ray/session_2021-06-21_15-56-53_457589_24968',\n", |
| 218 | + " 'metrics_export_port': 61722,\n", |
| 219 | + " 'node_id': 'c3f600bfaa7bc8b7a6940e00f9ee026f7d3a208187bae30b39626e43'}" |
220 | 220 | ] |
221 | 221 | }, |
222 | | - "execution_count": 20, |
| 222 | + "execution_count": 23, |
223 | 223 | "metadata": {}, |
224 | 224 | "output_type": "execute_result" |
225 | 225 | } |
|
230 | 230 | }, |
231 | 231 | { |
232 | 232 | "cell_type": "code", |
233 | | - "execution_count": 21, |
| 233 | + "execution_count": 24, |
234 | 234 | "id": "invisible-consensus", |
235 | 235 | "metadata": {}, |
236 | 236 | "outputs": [], |
|
240 | 240 | }, |
241 | 241 | { |
242 | 242 | "cell_type": "code", |
243 | | - "execution_count": 31, |
| 243 | + "execution_count": 25, |
244 | 244 | "id": "surface-recruitment", |
245 | 245 | "metadata": {}, |
246 | 246 | "outputs": [], |
|
250 | 250 | }, |
251 | 251 | { |
252 | 252 | "cell_type": "code", |
253 | | - "execution_count": 32, |
| 253 | + "execution_count": 26, |
254 | 254 | "id": "humanitarian-boards", |
255 | 255 | "metadata": {}, |
256 | 256 | "outputs": [], |
257 | 257 | "source": [ |
258 | 258 | "node_a = dm.EstimatorNode('preprocess', preprocessor)\n", |
259 | | - "node_0 = dm.EstimatorNode('node_0', classifiers[0])\n", |
260 | | - "node_1 = dm.EstimatorNode('node_1', classifiers[1])\n", |
261 | | - "node_2 = dm.EstimatorNode('node_2', classifiers[2])\n", |
262 | | - "node_3 = dm.EstimatorNode('node_3', classifiers[3])\n", |
263 | | - "node_4 = dm.EstimatorNode('node_4', classifiers[4])\n", |
| 259 | + "k_nn = KNeighborsClassifier(3)\n", |
| 260 | + "svc = SVC(kernel=\"rbf\", C=0.025, probability=True)\n", |
| 261 | + "nu_svc = NuSVC(probability=True)\n", |
| 262 | + "rf = RandomForestClassifier()\n", |
| 263 | + "gbc = GradientBoostingClassifier()\n", |
| 264 | + "\n", |
| 265 | + "node_0 = dm.EstimatorNode('node_0', k_nn)\n", |
| 266 | + "node_1 = dm.EstimatorNode('node_1', svc)\n", |
| 267 | + "node_2 = dm.EstimatorNode('node_2', nu_svc)\n", |
| 268 | + "node_3 = dm.EstimatorNode('node_3', rf)\n", |
| 269 | + "node_4 = dm.EstimatorNode('node_4', gbc)\n", |
264 | 270 | "\n", |
265 | 271 | "pipeline.add_edge(node_a, node_0)\n", |
266 | 272 | "pipeline.add_edge(node_a, node_1)\n", |
|
271 | 277 | }, |
272 | 278 | { |
273 | 279 | "cell_type": "code", |
274 | | - "execution_count": 33, |
| 280 | + "execution_count": 27, |
275 | 281 | "id": "ef9ff37b", |
276 | 282 | "metadata": {}, |
277 | 283 | "outputs": [], |
|
284 | 290 | }, |
285 | 291 | { |
286 | 292 | "cell_type": "code", |
287 | | - "execution_count": 34, |
| 293 | + "execution_count": 28, |
288 | 294 | "id": "mineral-analyst", |
289 | 295 | "metadata": {}, |
290 | 296 | "outputs": [], |
|
294 | 300 | }, |
295 | 301 | { |
296 | 302 | "cell_type": "code", |
297 | | - "execution_count": 35, |
| 303 | + "execution_count": 29, |
298 | 304 | "id": "literary-consolidation", |
299 | 305 | "metadata": {}, |
300 | 306 | "outputs": [], |
|
304 | 310 | }, |
305 | 311 | { |
306 | 312 | "cell_type": "code", |
307 | | - "execution_count": 36, |
| 313 | + "execution_count": 30, |
308 | 314 | "id": "educated-basement", |
309 | 315 | "metadata": {}, |
310 | 316 | "outputs": [], |
|
315 | 321 | }, |
316 | 322 | { |
317 | 323 | "cell_type": "code", |
318 | | - "execution_count": 37, |
319 | | - "id": "4df7fb29", |
| 324 | + "execution_count": 31, |
| 325 | + "id": "33fd7df4", |
320 | 326 | "metadata": {}, |
321 | 327 | "outputs": [ |
322 | 328 | { |
323 | 329 | "data": { |
324 | 330 | "text/plain": [ |
325 | | - "[<codeflare.pipelines.Datamodel.XYRef at 0x7f97087200d0>]" |
| 331 | + "[<codeflare.pipelines.Datamodel.XYRef at 0x7fda28ce4fd0>]" |
326 | 332 | ] |
327 | 333 | }, |
328 | | - "execution_count": 37, |
| 334 | + "execution_count": 31, |
329 | 335 | "metadata": {}, |
330 | 336 | "output_type": "execute_result" |
331 | 337 | } |
332 | 338 | ], |
333 | 339 | "source": [ |
334 | | - "outputs[0]" |
| 340 | + "node_0_output" |
335 | 341 | ] |
336 | 342 | }, |
337 | 343 | { |
338 | 344 | "cell_type": "code", |
339 | | - "execution_count": 39, |
| 345 | + "execution_count": 32, |
340 | 346 | "id": "41955886", |
341 | 347 | "metadata": {}, |
342 | 348 | "outputs": [], |
343 | 349 | "source": [ |
344 | | - "X_out = ray.get(outputs[0][0].get_Xref())" |
| 350 | + "X_out = ray.get(node_0_output[0].get_Xref())" |
345 | 351 | ] |
346 | 352 | }, |
347 | 353 | { |
348 | 354 | "cell_type": "code", |
349 | | - "execution_count": 40, |
| 355 | + "execution_count": 33, |
350 | 356 | "id": "7e05451f", |
351 | 357 | "metadata": {}, |
352 | 358 | "outputs": [ |
353 | 359 | { |
354 | 360 | "data": { |
355 | 361 | "text/plain": [ |
356 | | - "array(['Y', 'N', 'N', 'Y', 'N', 'Y', 'N', 'Y', 'Y', 'N', 'Y', 'Y', 'Y',\n", |
357 | | - " 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y',\n", |
| 362 | + "array(['Y', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'N', 'Y', 'Y', 'Y',\n", |
| 363 | + " 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y',\n", |
| 364 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
| 365 | + " 'Y', 'Y', 'N', 'Y', 'N', 'N', 'N', 'Y', 'Y', 'N', 'N', 'N', 'N',\n", |
| 366 | + " 'Y', 'N', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y',\n", |
| 367 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'N', 'Y', 'N', 'N', 'N', 'Y', 'Y',\n", |
| 368 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'N', 'Y', 'Y', 'N', 'Y', 'Y',\n", |
358 | 369 | " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N',\n", |
359 | | - " 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N',\n", |
360 | | - " 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y',\n", |
361 | | - " 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'N', 'Y', 'N', 'Y', 'Y', 'N', 'Y',\n", |
362 | | - " 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'N', 'N', 'Y', 'N', 'N',\n", |
363 | | - " 'N', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'N', 'N',\n", |
364 | | - " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'N', 'Y', 'Y', 'Y', 'N', 'Y',\n", |
365 | | - " 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y',\n", |
366 | | - " 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'N', 'Y', 'Y', 'Y', 'N', 'Y',\n", |
367 | | - " 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'Y',\n", |
368 | | - " 'Y', 'N', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
369 | | - " 'N', 'N', 'Y', 'Y', 'N', 'N', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
370 | | - " 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
371 | | - " 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'N', 'Y', 'Y', 'N', 'Y',\n", |
372 | | - " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y',\n", |
373 | | - " 'Y', 'Y', 'N', 'N', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'N', 'Y',\n", |
| 370 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
| 371 | + " 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'N', 'N', 'Y', 'Y', 'Y',\n", |
| 372 | + " 'N', 'Y', 'Y', 'Y', 'Y', 'N', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
| 373 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y',\n", |
| 374 | + " 'Y', 'N', 'Y', 'N', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
| 375 | + " 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
| 376 | + " 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
| 377 | + " 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'N', 'Y', 'Y', 'N', 'Y',\n", |
| 378 | + " 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
| 379 | + " 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'Y', 'N', 'N', 'N', 'Y', 'N',\n", |
| 380 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'N',\n", |
| 381 | + " 'N', 'Y', 'Y', 'Y', 'Y', 'N', 'N', 'Y', 'N', 'Y', 'N', 'Y', 'N',\n", |
| 382 | + " 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'N',\n", |
| 383 | + " 'N', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
| 384 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'N', 'N', 'Y', 'Y',\n", |
| 385 | + " 'Y', 'Y', 'N', 'N', 'N', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'N', 'Y',\n", |
| 386 | + " 'N', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'Y', 'Y',\n", |
| 387 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y',\n", |
| 388 | + " 'Y', 'Y', 'Y', 'N', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
| 389 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
374 | 390 | " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
375 | | - " 'N', 'N', 'N', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
376 | | - " 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'N',\n", |
377 | | - " 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y',\n", |
378 | | - " 'N', 'Y', 'Y', 'N', 'N', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
379 | | - " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'N', 'Y', 'Y', 'Y',\n", |
380 | | - " 'N', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N',\n", |
381 | | - " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y',\n", |
382 | | - " 'Y', 'N', 'N', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'Y',\n", |
383 | | - " 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
384 | | - " 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'Y',\n", |
385 | | - " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y',\n", |
386 | | - " 'Y', 'N', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y',\n", |
387 | | - " 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'N', 'N', 'Y', 'Y', 'N', 'Y', 'Y',\n", |
388 | | - " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'N',\n", |
389 | | - " 'N', 'N', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
390 | | - " 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'N', 'Y', 'Y', 'N', 'Y', 'Y', 'Y',\n", |
| 391 | + " 'N', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'N',\n", |
391 | 392 | " 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
392 | | - " 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y',\n", |
393 | | - " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'N', 'Y'], dtype=object)" |
| 393 | + " 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N',\n", |
| 394 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y',\n", |
| 395 | + " 'Y', 'N', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'N', 'N', 'Y', 'Y',\n", |
| 396 | + " 'N', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'Y',\n", |
| 397 | + " 'Y', 'N', 'N', 'N', 'Y', 'N', 'Y', 'N', 'Y', 'Y', 'N', 'N', 'Y',\n", |
| 398 | + " 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'N', 'Y',\n", |
| 399 | + " 'Y', 'Y', 'Y', 'Y', 'N', 'Y', 'Y', 'Y', 'Y', 'N'], dtype=object)" |
394 | 400 | ] |
395 | 401 | }, |
396 | | - "execution_count": 40, |
| 402 | + "execution_count": 33, |
397 | 403 | "metadata": {}, |
398 | 404 | "output_type": "execute_result" |
399 | 405 | } |
400 | 406 | ], |
401 | 407 | "source": [ |
402 | 408 | "X_out" |
403 | 409 | ] |
| 410 | + }, |
| 411 | + { |
| 412 | + "cell_type": "code", |
| 413 | + "execution_count": null, |
| 414 | + "id": "64a5bb35", |
| 415 | + "metadata": {}, |
| 416 | + "outputs": [], |
| 417 | + "source": [] |
404 | 418 | } |
405 | 419 | ], |
406 | 420 | "metadata": { |
|
0 commit comments